[논문 리뷰] Bayesian Optimization of Composite Functions

Raul Astudillo, Peter I. Frazier|arXiv (Cornell University)|2019. 06. 04.

Gaussian Processes and Bayesian Inference참고 문헌 4인용 수 6

한 줄 요약

이 논문은 복합 함수 $f(x) = g(h(x))$의 구조를 활용하는 베이지안 최적화 방법인 복합 함수를 위한 기대 개선도(EI-CF)를 제안한다. 이 방법은 $h(x)$를 다중 출력 가우시안 프로세스로 모델링하고, $f$의 비정규 사후분포를 고려한 시뮬레이션 기반의 획득 함수를 사용한다. 이로 인해 표준 베이지안 최적화에 비해 샘플링 효율성이 크게 향상되어 단순 회귀 오차가 수개의 지수 차수 감소한다.

ABSTRACT

We consider optimization of composite objective functions, i.e., of the form $f(x)=g(h(x))$, where $h$ is a black-box derivative-free expensive-to-evaluate function with vector-valued outputs, and $g$ is a cheap-to-evaluate real-valued function. While these problems can be solved with standard Bayesian optimization, we propose a novel approach that exploits the composite structure of the objective function to substantially improve sampling efficiency. Our approach models $h$ using a multi-output Gaussian process and chooses where to sample using the expected improvement evaluated on the implied non-Gaussian posterior on $f$, which we call expected improvement for composite functions (\ei). Although \ei\ cannot be computed in closed form, we provide a novel stochastic gradient estimator that allows its efficient maximization. We also show that our approach is asymptotically consistent, i.e., that it recovers a globally optimal solution as sampling effort grows to infinity, generalizing previous convergence results for classical expected improvement. Numerical experiments show that our approach dramatically outperforms standard Bayesian optimization benchmarks, reducing simple regret by several orders of magnitude.

연구 동기 및 목표

• 비용이 많이 드는 복합 목적 함수 $f(x) = g(h(x))$를 최적화하는 데 도전하는 것. 여기서 $h$는 벡터 값을 가지며 도함수를 구할 수 없고, $g$는 계산 비용이 낮다.
• 표준 베이지안 최적화에서 $f$를 흑박상자로 간주하는 대신, $h$와 $g$ 사이의 구조적 관계를 활용하여 샘플링 효율성을 향상시키는 것.
• GP 모델이 $h$에 대해 적용되었을 때 $f$에 유도되는 비정규 사후분포를 반영할 수 있는 획득 함수를 개발하는 것.
• 약한 정규 조건 하에서 최적화 과정의 점근적 일致성을 확보하여 전역 최적해로 수렴함을 보장하는 것.

제안 방법

• 출력 간 상관관계를 캐치하기 위해 내부 함수 $h(x)$를 다중 출력 가우시안 프로세스(GP)로 모델링한다.
• 획득 함수를 $f(x) = g(h(x))$에 대한 유도된 비정규 사후분포 하에서의 기대 개선도(Expected Improvement)로 정의하며, 이를 복합 함수를 위한 기대 개선도(EI-CF)라 칭한다.
• 기대 개선도(EI-CF)의 기울기의 비편향 추정량을 구하기 위해 몬테카를로 시뮬레이션을 사용하여, 확률적 경사상승법을 통한 효율적 최대화를 가능하게 한다.
• $g$가 계산 비용이 낮다는 사실을 활용하여, $f$를 직접 GP로 모델링하지 않고도 $h$에서 $f$로의 불확실성 전파를 수행한다.
• 닫힌 형태의 표현식이 없기 때문에, EI-CF를 최대화하기 위해 새로운 확률적 경사도 추정기를 도입한다.
• 평가 횟수가 증가함에 따라 찾은 최적해가 전역 최적해로 수렴함을 증명함으로써 점근적 일치성을 확보한다.

실험 결과

연구 질문

• RQ1 다중 출력 GP로 내부 함수 $h(x)$를 모델링하고, $f(x) = g(h(x))$에 대한 유도된 사후분포를 활용할 경우, 표준 베이지안 최적화에 비해 더 효율적인 최적화가 가능할까?
• RQ2 비선형인 $g$가 있을 경우, $f$에 대한 비정규 사후분포를 고려하여 기대 개선도 획득 함수를 어떻게 적응시킬 수 있을까?
• RQ3 닫힌 형태의 표현식이 없는 획득 함수를 최대화하는 데 있어 계산 가능성은 어떻게 보장되며, 이를 어떻게 효율적으로 최적화할 수 있을까?
• RQ4 제안된 EI-CF 방법이 평가 횟수가 증가함에 따라 전역 최적해로 수렴하는가?
• RQ5 단순 회귀 오차와 수렴 속도 측면에서 EI-CF의 성능은 표준 베이지안 최적화 기준에 비해 어떻게 비교되는가?

주요 결과

• EI-CF는 표준 베이지안 최적화 기준에 비해 단순 회귀 오차를 수개의 지수 차수 감소시킨다.
• 표준 BO에 비해 기능 평가 횟수의 1/4 미만으로도 동일한 최종 해의 품질을 달성한다.
• 닫힌 형태의 표현식이 없음에도 불구하고, 제안된 확률적 경사도 추정기가 EI-CF의 효율적 최대화를 가능하게 한다.
• EI-CF는 점근적으로 일치하므로, 표본 수가 무한히 증가함에 따라 전역 최적해로 수렴한다.
• 특히 비선형 설정에서 $f(x)$ 평가만으로는 확보할 수 없는 $h(x)$의 정보를 활용함으로써 표준 BO를 능가한다.
• 수치 실험 결과, $g$가 비선형이고 $h$가 연속일 경우, 최소값 존재를 시사하는 구조적 특징(예: $h$의 부호 변화)을 탐지할 수 있음을 확인하였다.