[논문 리뷰] Optimization as Estimation with Gaussian Processes in Bandit Settings

Zi Wang, Bolei Zhou외 1명|arXiv (Cornell University)|2015. 10. 21.

Gaussian Processes and Bayesian Inference인용 수 14

한 줄 요약

이 논문은 탐색-이용 균형 파rameter의 수동 조정이 필요 없도록, 가우시안 프로세스를 사용하여 알려지지 않은 함수의 argmax를 직접 추정하는 베이지안 최적화 방법을 제안한다. 이 방법은 추정된 argmax를 바탕으로 다음 평가 지점을 선택하여 탐색과 이용을 적응적으로 균형 잡으며, 수동 조정 없이도 로봇 공학 및 시각 작업 전반에서 경쟁 가능한 누적 손실 경계와 강건한 성능을 달성한다.

ABSTRACT

Recently, there has been rising interest in Bayesian optimization -- the optimization of an unknown function with assumptions usually expressed by a Gaussian Process (GP) prior. We study an optimization strategy that directly uses an estimate of the argmax of the function. This strategy offers both practical and theoretical advantages: no tradeoff parameter needs to be selected, and, moreover, we establish close connections to the popular GP-UCB and GP-PI strategies. Our approach can be understood as automatically and adaptively trading off exploration and exploitation in GP-UCB and GP-PI. We illustrate the effects of this adaptive tuning via bounds on the regret as well as an extensive empirical evaluation on robotics and vision tasks, demonstrating the robustness of this strategy for a range of performance criteria.

연구 동기 및 목표

• 수동 조정이 필요한 탐색-이용 균형 파rameter를 피하는 실용적이고 이론적으로 탄탄한 베이지안 최적화 전략을 개발하는 것.
• 제안된 방법과 GP-UCB 및 GP-PI와 같은 기존 접근법 간의 이론적 연결 고리를 확립하는 것.
• 로봇 공학 및 컴퓨터 비전 분야의 다양한 실제 최적화 문제에서 강건한 성능을 보여주는 것.
• 누적 손실 목표 하에 제안된 추정 기반 전략에 대한 손실 경계를 제공하는 것.
• 사용자 간섭 없이 GP-UCB 및 GP-PI의 파arameter를 자동으로 적응적으로 조정하는 방법을 보여주는 것.

제안 방법

• 이 방법은 가우시안 프로세스 모델의 사후 평균과 분산을 사용하여 알려지지 않은 함수의 argmax를 추정한다.
• 다음 평가 지점은 진정한 argmax가 될 가능성이 가장 높은 입력으로 선택된다.
• 이론적 근거로는 이산화된 입력 공간과 리프시츠 연속성 가정에서 유도된 최대 함수 값에 대한 보수적인 상한을 사용한다.
• 추정된 argmax를 기반으로 획득 함수를 정의하고, 이를 최적화하여 다음 평가 지점을 선택한다.
• 이 방법은 사후 분포를 활용하여 주어진 점이 최대값을 갖는 확률을 계산함으로써 적응적인 탐색을 가능하게 한다.
• 추정된 최대값이 진정한 최대값을 초과하지 않도록 보장함으로써 이론적 손실 경계를 유지한다.

실험 결과

연구 질문

• RQ1 수동 파arameter 조정이 필요 없이 탐색과 이용을 자동으로 균형 잡는 베이지안 최적화 전략을 어떻게 설계할 수 있는가?
• RQ2 제안된 argmax 추정 전략과 GP-UCB 및 GP-PI와 같은 기존 방법 간의 이론적 연결 고리는 무엇인가?
• RQ3 제안된 방법은 다양한 실제 최적화 작업에서 경쟁 가능한 손실 성능을 달성할 수 있는가?
• RQ4 누적 손실 측면에서 추정 기반 접근법은 엔트로피 서치 및 기타 정보 이론적 방법과 비교해 어떻게 되는가?
• RQ5 기본적인 밴딧 목표 하에 제안된 argmax 추정 전략의 이론적 손실 경계는 무엇인가?

주요 결과

• 제안된 방법은 로봇 공학 및 컴퓨터 비전 작업 전반에서 GP-UCB와 GP-PI와 경쟁하는 누적 손실 성능을 달성한다.
• 이 방법은 GP-UCB 및 GP-PI의 탐색-이용 균형 파arameter를 수동 캘리브레이션 없이 자동으로 적응적으로 조정한다.
• 추정 기반 전략에 대한 이론적 손실 경계가 확립되었으며, 이는 표준 목표 하에서 수렴 성질을 보여준다.
• 실험 결과는 단순 손실 및 목표 손실 값에 도달하는 데 소요되는 단계 수와 같은 다양한 성능 기준에서의 강건성을 입증한다.
• 하이퍼파라미터 선택이 어려운 실제 응용 분야에서의 적용에 적합하여, 명시적 조정 없이도 잘 작동한다.
• 저차원 구조 가정과 결합할 경우 고차원 함수 근사와도 호환된다.