[논문 리뷰] Gaussian Process Optimization with Mutual Information

Emile Contal, Vianney Perchet외 1명|arXiv (Cornell University)|2013. 11. 19.

Advanced Bandit Algorithms Research참고 문헌 36인용 수 48

한 줄 요약

이 논문은 상호정보량을 활용하여 탐색-이용 균형을 향상시키는 새로운 가우시안 프로세스 최적화 알고리즘인 GP-MI를 제안한다. 이로 인해 누적 정규화 오차의 상한선이 $\mathcal{O}(\sqrt{\log T^{d+1}})$로 도출되었으며, 이는 GP-UCB의 $\mathcal{O}(\sqrt{T(\log T)^{d+1}})$에 비해 지수적 향상이다. 원래 증명에 이론적 결함이 있었음에도 불구하고, 실험 결과는 GP-MI가 합성 및 실세계 작업에서 GP-UCB와 Expected Improvement를 모두 능가함을 확인한다.

ABSTRACT

In this paper, we analyze a generic algorithm scheme for sequential global optimization using Gaussian processes. The upper bounds we derive on the cumulative regret for this generic algorithm improve by an exponential factor the previously known bounds for algorithms like GP-UCB. We also introduce the novel Gaussian Process Mutual Information algorithm (GP-MI), which significantly improves further these upper bounds for the cumulative regret. We confirm the efficiency of this algorithm on synthetic and real tasks against the natural competitor, GP-UCB, and also the Expected Improvement heuristic.

연구 동기 및 목표

• 가우시안 프로세스를 사용한 순차적 전역 최적화를 위한 일반적인 알고리즘 프레임워크를 개발하는 것.
• 상호정보량을 사용하여 샘플링을 이끌어내는 탐색-이용 균형을 향상시키는 새로운 알고리즘 GP-MI를 제안하는 것.
• 기존 방법들인 GP-UCB 및 Expected Improvement와 비교하여 더 날카운 누적 정규화 오차 상한선을 유도하는 것.
• 다중 국소 최적해를 가진 어려운 합성 및 실세계 최적화 작업에서 GP-MI의 성능을 실험적으로 검증하는 것.
• 원래 증명에서의 이론적 결함(레마 1에서의 문제)을 해결하기 위해, 관측된 노이즈가 있는 함수 값 대신순간 정규화 오차를 관측하도록 요구함으로써 기존 주요 정리의 유효성을 회복하는 것.

제안 방법

• GP-MI 알고리즘은 알려지지 않은 함수와 후보 관측값 간의 상호정보량을 최대화함으로써 다음 쿼리 포인트를 선택한다. 이는 정보가 많은 샘플링을 촉진한다.
• 알고리즘은 관측된 데이터 기반으로 사후 평균과 분산을 업데이트하며, 획득 함수는 $\alpha_{\text{MI}}(x) = \mathrm{I}(f; y_x \mid \mathbf{Y}_{t-1})$로 정의된다. 여기서 $\mathrm{I}$는 상호정보량을 나타낸다.
• 이론적 분석은 자연 필터링 $\mathcal{F}_t = \{r_1, \dots, r_t\}$을 사용하는 수정된 마틴게일 프레임워크에 기반한다. 여기서 $r_t = f(x^*) - f(x_t)$이며, 이는 원래 증명의 결함을 수정하기 위함이다.
• 누적 정규화 오차 상한선은 알고리즘이 노이즈가 있는 함수 값 $y_t$ 대신 순간 정규화 오차 $r_t$를 관측한다는 가정 하에 도출된다. 이는 이론적 보장이 성립하기 위해 필수적이다.
• 계산 비용을 줄이기 위해 게으른 분산 업데이트를 구현하였으며, 대규모 문제에는 EP나 MCMC와 같은 근사 기법을 사용할 수 있다.
• 신뢰도 파rameter $\alpha = \log(2/\delta)$는 탐색과 이용 간의 균형을 조절하며, $\delta$에 대한 강건성은 실험적으로 확인되었다.

실험 결과

연구 질문

• RQ1 함수 값과 관측값 간의 상호정보량을 사용하여 베이지안 최적화를 위한 더 효율적인 획득 함수를 설계할 수 있는가?
• RQ2 일반적인 GP 기반 최적화 알고리즘의 누적 정규화 오차에 대한 이론적 상한선은 무엇이며, GP-UCB와 같은 기존 방법과 비교해 볼 때 어떻게 다른가?
• RQ3 GP-MI 알고리즘이 GP-UCB보다 증명 가능한 더 낮은 정규화 오차 상한선을 달성하는가? 만약 그렇다면, 얼마나 더 낮은가?
• RQ4 GP-MI 알고리즘은 고차원, 노이즈가 있는, 다중 국소 최적해를 가진 최적화 문제에서 GP-UCB 및 Expected Improvement와 비교해 어떻게 성능을 내는가?
• RQ5 레마 1의 이론적 결함은 어떤 의미를 가지며, 노이즈가 있는 관측값 대신 순간 정규화 오차를 관측하도록 수정함으로써 알고리즘의 성능과 보장 조건에 어떤 영향을 미치는가?

주요 결과

• GP-MI 알고리즘은 $\mathcal{O}(\sqrt{\log T^{d+1}})$의 누적 정규화 오차 상한선을 달성하였으며, 이는 수정된 이론적 프레임워크 하에서 GP-UCB의 $\mathcal{O}(\sqrt{T(\log T)^{d+1}})$에 비해 지수적 향상이다.
• 원래 레마 1의 증명은 $M_T$가 $\mathbf{Y}_T$에 대해 측정 가능하지 않기 때문에 잘못되었으며, 이는 노이즈가 있는 관측 조건 하에서 주요 정리를 무효화한다.
• 이론적 보장은 알고리즘이 노이즈가 있는 함수 값 $y_t = f(x_t) + \epsilon_t$ 대신 순간 정규화 오차 $r_t = f(x^*) - f(x_t)$를 관측할 때에만 복원된다.
• 실험 결과는 GP-MI가 Himmelblau, Mackey-Glass, 타이푼 런업 문제와 같이 다수의 국소 최적해를 가진 어려운 작업에서 GP-UCB 및 Expected Improvement를 뚜렷이 능가함을 보여준다.
• GP-MI 알고리즘은 고차원 입력 공간에서도 강건성을 보이며, $d=2$, $d=4$, $d=6$ 테스트 케이스에서 일관된 성능을 기록한다.
• 실험을 통해 $\delta$의 선택이 성능에 미치는 영향이 미미함을 확인하였으며, $\alpha = \log(2/\delta)$를 다양한 값으로 설정한 결과에서도 강건한 성능을 보였다. 이는 강력한 실험적 강건성을 시사한다.