[논문 리뷰] Bayesian Optimization with Expensive Integrands

Saul Toscano-Palmerin, Peter I. Frazier|arXiv (Cornell University)|2018. 03. 23.

Advanced Multi-Objective Optimization Algorithms인용 수 8

한 줄 요약

이 논문은 평가가 비용이 많이 드는 함수의 적분 또는 합으로 이루어진 목적 함수를 위한 베이지안 최적화 방법을 제안하며, 한 단계 평균 사례 최적성 달성을 위해 새로운 정보가치 계산을 활용한다. 노이즈가 있거나 부드러운 피적분함수 조건 하에서 효율적인 최적화를 위한 이산화 없는 접근법을 도입하였으며, 유한 도메인과 연속 도메인 모두에서 이론적 일致성과 최신 기법들에 비해 경험적으로 뛰어난 성능을 보인다.

ABSTRACT

We propose a Bayesian optimization algorithm for objective functions that are sums or integrals of expensive-to-evaluate functions, allowing noisy evaluations. These objective functions arise in multi-task Bayesian optimization for tuning machine learning hyperparameters, optimization via simulation, and sequential design of experiments with random environmental conditions. Our method is average-case optimal by construction when a single evaluation of the integrand remains within our evaluation budget. Achieving this one-step optimality requires solving a challenging value of information optimization problem, for which we provide a novel efficient discretization-free computational method. We also provide consistency proofs for our method in both continuum and discrete finite domains for objective functions that are sums. In numerical experiments comparing against previous state-of-the-art methods, including those that also leverage sum or integral structure, our method performs as well or better across a wide range of problems and offers significant improvements when evaluations are noisy or the integrand varies smoothly in the integrated variables.

연구 동기 및 목표

• 평가 비용이 많이 드는 함수의 적분 또는 합으로 이루어진 목적 함수에 대한 도함수 없는 전역 최적화 문제를 다루는 것.
• 고정된 평가 예산 하에서 한 단계 평균 사례 최적성을 달성하는 방법을 개발하는 것.
• 노이즈가 있는 평가와 피적분함수 변수의 부드러운 변화를 효율적으로 다루는 것.
• 목적이 합일 경우 유한 도메인과 연속 도메인 모두에서 이론적 일치성을 제공하는 것.
• 적분 구조를 활용하여 낭비되는 평가를 최소화함으로써 기존 방법들을 능가하는 것.

제안 방법

• 이 방법은 피적분함수 $ F(x,w) $ 를 가우시안 프로세스 사전분포로 모델링하여 목적 함수 $ G(x) = \int F(x,w)p(w)dw $ 에 대한 확률적 추론을 가능하게 한다.
• 목적 함수 $ G(x) $ 에 대한 기대 향상도를 최대화하는 조건 하에서 다음 평가 점 $ (x,w) $ 를 선택하기 위해 정보가치 최적화 문제를 설정하며, $ w $-공간의 이산화를 피한다.
• 피적분함수의 $ w $-영역을 이산화하지 않고도 정보가치 문제를 효율적으로 해결하기 위한 새로운 계산 방법을 도입한다.
• 알고리즘은 $ x $ 와 $ w $ 에 걸쳐 평가를 적응적으로 할당하며, 공동 $ (x,w) $-공간 내에서 탐색과 이용의 균형을 이룬다.
• 노이즈가 있는 $ F(x,w) $ 관측값을 사용하고 $ G(x) $ 에 대한 사후분포를 유지하며, 각 평가 후 신념을 갱신한다.
• 피적분함수 $ F $ 와 $ p(w) $ 에 대한 정규성 조건 하에서 유한 도메인과 연속 도메인 모두에서 이론적 일치성이 확립된다.

실험 결과

연구 질문

• RQ1 비용이 많이 드는 함수의 적분으로 이루어진 목적 함수를 효율적으로 최적화할 수 있는 베이지안 최적화 프레임워크를 설계할 수 있는가?
• RQ2 피적분함수의 정의역을 이산화하지 않고도 정보가치 계산을 효율적으로 수행할 수 있는가?
• RQ3 고정된 평가 예산 하에서 제안된 방법이 한 단계 평균 사례 최적성을 달성하는가?
• RQ4 기존 접근법과 비교해 볼 때, 노이즈가 있는 평가 또는 부드러운 피적분함수 변화 조건 하에서 이 방법의 성능은 어떠한가?
• RQ5 합 기반 목적 함수에 대해 이론적으로 일치성이 확보된다는 점이 유한 도메인과 연속 도메인 모두에서 성립하는가?

주요 결과

• 제안된 방법은 단일 평가가 예산 내에 포함될 경우, 구성상 한 단계 평균 사례 최적성을 달성한다.
• 수치 실험에서 최신 기법들보다 뛰어난 성능을 보이며, 특히 노이즈가 많은 평가나 부드러운 피적분함수 변화 조건에서 두각을 나타낸다.
• 피적분함수의 $ w $-변수에서 부드러운 변화가 있을 경우 수렴 속도 향상과 최종 해 품질 향상이 뚜렷하게 관찰된다.
• 표준 정규성 가정 하에 유한 도메인과 연속 도메인 모두에서 이론적 일치성이 입증된다.
• 정보가치 계산은 새로운 이산화 없는 방법을 통해 효율적으로 해결되어 연속 $ w $-공간에서의 확장 가능한 최적화를 가능하게 한다.
• 경험적 결과는 다중 작업 베이지안 최적화 및 시뮬레이션 기반 설계를 포함한 다양한 문제 유형에서 뛰어난 안정성과 성능을 보여준다.