[논문 리뷰] Gaussian Process Optimization in the Bandit Setting: No Regret and Experimental Design

Niranjan Srinivas, Andreas Krause외 2명|Infoscience (Ecole Polytechnique Fédérale de Lausanne)|2009. 12. 21.

Gaussian Processes and Bayesian Inference참고 문헌 32인용 수 1,049

한 줄 요약

이 논문은 목적 함수가 비용이 많이 들고 가우시안 프로세스에서 유래된 것으로 가정되는 밴딧 설정에서 베이지안 최적화를 위한 상한 신뢰 기반 알고리즘인 GP-UCB를 제안한다. 누적 누적 손실을 최대 정보 수득과 연결함으로써, 일반적인 공분산 함수에 대해 차원에 관계없이 안정적인 성능을 달성하는 비선형 손실 경계를 확립한다.

ABSTRACT

Many applications require optimizing an unknown, noisy function that is expensive to evaluate. We formalize this task as a multi-armed bandit problem, where the payoff function is either sampled from a Gaussian process (GP) or has low RKHS norm. We resolve the important open problem of deriving regret bounds for this setting, which imply novel convergence rates for GP optimization. We analyze GP-UCB, an intuitive upper-confidence based algorithm, and bound its cumulative regret in terms of maximal information gain, establishing a novel connection between GP optimization and experimental design. Moreover, by bounding the latter in terms of operator spectra, we obtain explicit sublinear regret bounds for many commonly used covariance functions. In some important cases, our bounds have surprisingly weak dependence on the dimensionality. In our experiments on real sensor data, GP-UCB compares favorably with other heuristical GP optimization approaches.

연구 동기 및 목표

• 밴딧 설정에서 평가에 비용이 많이 들고 노이즈가 있는 블랙박스 함수를 최적화하는 데 도전하는 것.
• 최소한의 가정 하에 가우시안 프로세스 기반 최적화의 이론적 손실 경계를 도출하는 것.
• 정보 수득을 통한 실험 설계와 GP 최적화 간의 연결 고리를 설정하는 것.
• 일반적인 공분산 함수에 대해 차원에 약하게 의존하는 명시적 손실 경계를 제공하는 것.
• 실제 센서 데이터를 대상으로 히우리스틱 방법과 비교하여 방법의 실증적 성능을 검증하는 것.

제안 방법

• GP 사후 평균과 분산에서 유도된 상한 신뢰 구간을 최대화하는 점을 다음 평가 점으로 선택하는 GP-UCB 알고리즘을 제안한다.
• 알 수 없는 함수를 알려진 공분산 커널을 가진 평균이 0인 가우시안 프로세스의 샘플로 모델링한다.
• 손실을 제한하는 핵심 양으로 최적 점과 평가된 점들의 순서 간의 최대 정보 수득을 사용한다.
• 공분산 연산자의 고유값과 관련지어 정보 수득을 분석함으로써 커널의 스펙트럼 성질을 활용하여 손실 경계를 유도한다.
• 일반적인 커널(예: 제곱 지수, 매테른)에 이 경계를 적용하여 명시적인 비선형 손실 속도를 도출한다.
• 실제 센서 데이터에서 알고리즘의 성능을 히우리스틱 GP 최적화 방법과 비교하여 검증한다.

실험 결과

연구 질문

• RQ1 노이즈가 있고 평가에 비용이 많이 드는 함수에 대해 밴딧 설정에서 가우시안 프로세스 최적화의 이론적 손실 경계를 유도할 수 있는가?
• RQ2 최적 점과 평가 순서 간의 정보 수득은 누적 손실과 어떻게 관련이 있는가?
• RQ3 일반적인 공분산 함수에 대해 입력 공간의 차원에 따른 손실 경계의 의존성은 어떠한가?
• RQ4 함수의 매끄러움이나 구조에 강한 가정 없이 GP-UCB가 비선형 손실을 달성할 수 있는가?
• RQ5 실세계 응용에서 GP-UCB는 히우리스틱 GP 최적화 방법과 비교해 어떻게 성능을 발휘하는가?

주요 결과

• 논문은 밴딧 설정에서 GP 기반 최적화에 대해 처음으로 비선형 손실 경계를 확립하여, GP-UCB가 무손실 성능을 달성함을 증명한다.
• 손실은 최적 점에 대한 불확실성 감소를 측정하는 최대 정보 수득에 따라 제한된다.
• 제곱 지수 커널의 경우, T번의 평가에서 손실 경계는 O(√(T log T))로 스케일되며, 일부 영역에서는 차원과 무관하다.
• 매끄러움 파라미터 ν를 가진 매테른 커널의 경우, 손실 경계는 O(T^(1/2 + d/(2ν + d)))로 나타나 차원 d에 대해 약한 의존성을 보인다.
• 실제 센서 데이터에서의 실증 결과는 GP-UCB가 최적점 수렴 측면에서 히우리스틱 GP 최적화 전략을 능가함을 보여준다.
• 이론적 프레임워크는 정보 이론적 양을 통해 GP 최적화와 실험 설계 간의 새로운 연결 고리를 설정한다.