[논문 리뷰] The reparameterization trick for acquisition functions

James T. Wilson, Riccardo Moriconi외 2명|arXiv (Cornell University)|2017. 12. 01.

Advanced Multi-Objective Optimization Algorithms참고 문헌 1인용 수 39

한 줄 요약

이 논문은 베이지안 최적화에서 비가역적 획득 함수의 기울기 기반 최적화를 가능하게 하기 위한 재매개변수화 기법을 제안한다. 특히 병렬 쿼리 선택에 초점을 맞추고 있다. 획득 함수를 미분 가능한 가우시안 적분으로 재구성함으로써, 이는 효율적인 몬테카를로 추정과 확률적 경량 최적화를 가능하게 하며, 기울기 기반 방법에 비해 성능이 크게 향상된다.

ABSTRACT

Bayesian optimization is a sample-efficient approach to solving global optimization problems. Along with a surrogate model, this approach relies on theoretically motivated value heuristics (acquisition functions) to guide the search process. Maximizing acquisition functions yields the best performance; unfortunately, this ideal is difficult to achieve since optimizing acquisition functions per se is frequently non-trivial. This statement is especially true in the parallel setting, where acquisition functions are routinely non-convex, high-dimensional, and intractable. Here, we demonstrate how many popular acquisition functions can be formulated as Gaussian integrals amenable to the reparameterization trick and, ensuingly, gradient-based optimization. Further, we use this reparameterized representation to derive an efficient Monte Carlo estimator for the upper confidence bound acquisition function in the context of parallel selection.

연구 동기 및 목표

• 베이지안 최적화에서 비가역적 획득 함수의 최적화 문제를 해결함으로써, 특히 고차원적이고 비볼록인 병렬 설정에서의 도전 과제를 다루는 것.
• 인기 있는 획득 함수들이 재매개변수화 기법을 적용할 수 있는, 미분 가능한 가우시안 적분으로 재표현될 수 있음을 보여주는 것.
• 몬테카를로 추정을 통해 기울기 기반 최적화를 효율적으로 구현함으로써 샘플 효율성과 수렴 속도를 향상시키는 것.
• 재매개변수화 기법을 사용하여 획득 함수를 미분하는 통합 프레임워크를 제공함으로써 유도 및 구현을 단순화하는 것.

제안 방법

• 함수 출력에 대한 가우시안 적분으로 획득 함수를 재구성하여 재매개변수화 기법의 적용을 가능하게 하는 것.
• 확률 변수 y = μ + Lz를 재정의하기 위해 결정론적 사상 ρ: z → y를 사용하며, 여기서 z ~ N(0, I)이며, 분포의 모수에 대한 의존성을 명시적으로 드러내는 것.
• 재매개변수화 기법을 적용하여 획득 함수를 모수의 미분 가능한 함수로 표현함으로써, 역전파를 통한 기울기 계산이 가능하도록 하는 것.
• 재매개변수화된 형태를 사용하여 상한 신뢰도(Upper Confidence Bound, UCB) 획득 함수의 몬테카를로 추정기법을 유도하고, 확률적 경량 최적화를 가능하게 하는 것.
• 기울기 흐름을 가능하게 하기 위해 비미분 가능한 구성요소(예: 헤비사이드 단위계단함수 및 max 연산자)를 부드러운 근사치(예: 소프트맥스 및 하위미분)로 대체하는 것.
• 확률적 경량 최적화를 위해 Adam 최적화기와 함께 확률적 경량 최적화(SGD)를 사용하고, 국소 최소값을 피하기 위해 다중 랜덤 재시작을 수행하며, 결정론적 최적화에는 L-BFGS-B를 사용하는 것.

실험 결과

연구 질문

• RQ1 비가역적 획득 함수의 기울기 기반 최적화를 위해 재매개변수화 기법을 적용할 수 있는가?
• RQ2 재매개변수화된 획득 함수의 기울기 기반 최적화는 기울기 기반 방법에 비해 성능 및 수렴 속도 측면에서 어떻게 비교되는가?
• RQ3 재매개변수화 기법이 q-UCB와 같은 복잡한 획득 함수의 유도 및 구현을 단순화할 수 있는가?
• RQ4 비미분 가능한 구성요소(예: 소프트맥스)의 부드러운 근사치가 획득 함수 최적화에 미치는 영향은 무엇인가?
• RQ5 q-UCB에 대한 재매개변수화된 몬테카를로 추정기법은 샘플 효율성이 향상된 효과적인 병렬 베이지안 최적화를 가능하게 하는가?

주요 결과

• 재매개변수화된 획득 함수의 기울기 기반 최적화는 랜덤 서치 및 분할 직육면체 방법과 같은 기울기 기반 최적화가 아닌 방법에 비해 16개의 작업 평균 성능에서 뛰어난 성능을 보였다.
• Adam을 사용한 확률적 경량 최적화(SGD)와 결정론적 L-BFGS-B 최적화 전략 간 성능이 유사하여 최적화 전략에 대해 뛰어난 안정성을 보였다.
• q-UCB에 대한 재매개변수화된 몬테카를로 추정기법은 UCB의 첫 번째 진정한 병렬 형식을 가능하게 하였으며, 고차원적 병렬 베이지안 최적화에서 효과적임을 입증하였다.
• 비미분 가능한 구성요소(예: 헤비사이드 단위계단함수)에 대해 부드러운 근사치(예: τ = 0.01인 소프트맥스)를 사용함으로써 유의미한 기울기가 유도되고 최적화 오차가 감소하였다.
• 재매개변수화 기법은 q-UCB와 같은 복잡한 획득 함수의 유도를 단순화시키며, 기울기 계산을 투명하고 체계적인 방식으로 만들어 냈다.
• 동일한 실행 시간 동안 기울기 기반 최적화기는 기울기 기반 기준선에 비해 평균 성능이 뛰어나며, 특히 고차원 설정(8D 작업)에서 두드러진 성능 향상을 보였다.