[논문 리뷰] GLASSES: Relieving The Myopia Of Bayesian Optimisation

Javier González, Michael A. Osborne외 1명|arXiv (Cornell University)|2015. 10. 21.

Advanced Multi-Objective Optimization Algorithms인용 수 26

한 줄 요약

GLASSES는 스트로스틱 시뮬레이션과 기대값 전파(Expectation Propagation)를 통해 이상적인 봉우리 손실을 근사함으로써, 수십 번의 향후 평가를 고려한 비미시적 베이지안 최적화 알고리즘을 도입한다. 이는 기존의 미시적 방법에 비해 고비용의 블랙박스 함수에서 최적화 성능을 크게 향상시키며, McCormick 및 Powers와 같은 벤치마크 함수에서 일관된 성능 향상을 보인다.

ABSTRACT

We present GLASSES: Global optimisation with Look-Ahead through Stochastic Simulation and Expected-loss Search. The majority of global optimisation approaches in use are myopic, in only considering the impact of the next function value; the non-myopic approaches that do exist are able to consider only a handful of future evaluations. Our novel algorithm, GLASSES, permits the consideration of dozens of evaluations into the future. This is done by approximating the ideal look-ahead loss function, which is expensive to evaluate, by a cheaper alternative in which the future steps of the algorithm are simulated beforehand. An Expectation Propagation algorithm is used to compute the expected value of the loss.We show that the far-horizon planning thus enabled leads to substantive performance gains in empirical tests.

연구 동기 및 목표

• 다음 평가 하나만을 고려하는 베이지안 최적화의 비미시성 문제를 해결하기 위해, 수십 번의 향후 평가를 고려한 계획 수립을 가능하게 한다.
• 정확한 향후 단계에 대한 추론 비용이 막대한 것을 방지하면서도, 다단계 봉우리 보기를 위한 계산적으로 실현 가능한 방법을 개발한다.
• 각 평가 선택의 장기적 영향을 비미시적 손실 함수를 통해 통합함으로써 글로벌 최적화 성능을 향상시킨다.
• 배치 베이지안 최적화와의 연결 고리를 활용하여 이상적인 봉우리 손실의 효율적이고 확장 가능한 근사치를 설계한다.
• 문제에 특화된 튜닝 없이도 다양한 목적 함수에서 경쟁 가능한 성능을 보이는 강력한 기본 최적화 전략을 제공한다.

제안 방법

• GLASSES는 향후 알고리즘 단계를 고정된 향후 평가 예측을 사용해 시뮬레이션함으로써 이상적인 봉우리 손실 함수를 근사함으로써 계산 비용을 줄이고 장기적 계획 수립을 유지한다.
• 모든 향후 평가를 함께 모델링하기 위해 가우시안 프로세스를 사용하며, GP 사전분포 하에서 향후 단계의 조건부 독립성을 가정한다.
• 기대 손실은 기대값 전파를 통해 향후 함수 값과 결정에 대한 비가역적 통합을 근사한다.
• 전체 중첩된 최대화 및 통합 문제에 대한 완전한 추론을 피하기 위해 향후 단계의 예측 모델을 사용함으로써 계산 비용을 줄인다.
• 획득 함수는 DIRECT 알고리즘을 사용해 최적화하고, GP 하이퍼파rameter는 L-BFGS를 사용한 우도 최대화를 통해 학습한다.
• 표준 베이지안 최적화 파ip라인과 통합하기 위해, 비미시적 손실을 사용하여 미시적 기대 손실을 대체한다.

실험 결과

연구 질문

• RQ1 수십 개의 향후 평가를 고려한 비미시적 베이지안 최적화 알고리즘이 고비용의 블랙박스 함수에서 미시적 방법보다 뛰어난 성능을 보일 수 있는가?
• RQ2 베이지안 최적화에서 다단계 봉우리 보기를 위한 비가역적 문제를 장기적 계획 능력을 훼손하지 않고 효율적으로 근사할 수 있는가?
• RQ3 제안된 GLASSES 알고리즘이 복잡한 지형을 가진 다양한 테스트 함수에서 일관되게 최적화 성능을 향상시키는가?
• RQ4 GLASSES의 성능는 MPI 및 GP-LCB와 같은 표준 획득 함수와 비교해 수렴 속도와 최종 해의 품질 측면에서 어떻게 다른가?
• RQ5 GLASSES는 절대 최고 성능를 내지 못하는 경우가 있어도 다양한 문제 범위에서 강력한 기본 최적화 전략으로 기능할 수 있는가?

주요 결과

• GLASSES는 이전의 방법이 두 번 또는 여섯 단계 이내에 그치는 데 비해, 수십 개의 향후 평가를 고려한 계획 수립을 통해 실증 테스트에서 상당한 성능 향상을 달성한다.
• McCormick 및 Powers 함수에서, 손실 함수에 사용된 단계 수를 늘일수록 최적화 결과가 일관되게 향상되었으며, 이는 장기적 계획 수립의 이점이 있음을 보여준다.
• 11개의 테스트 함수 중 6개에서 GLASSES의 비미시적 손실이 모든 미시적 기준보다 뛰어났고, 3개의 경우에서 전체적으로 최고 성능를 기록했다.
• GLASSES가 최고 성능를 기록하지 못한 경우에도 항상 두 번째 또는 최고에 가까운 순위를 기록하여, 강력한 내구성과 신뢰성을 보여주는 기본 선택지임을 입증했다.
• 기대값 전파를 사용해 기대 손실을 근사함으로써 효율적인 계산을 실현하면서도 비미시적 의사결정의 이점을 유지했다.
• 다양한 차원 수와 도메인 크기에서 수렴 속도와 최종 해의 품질이 일관되게 향상되었으며, 평가 예산과 비교해 10배의 차원 수에서 성능 향상을 보였다.