[논문 리뷰] Optimization, fast and slow: optimally switching between local and Bayesian optimization

Mark McLeod, Michael A. Osborne외 1명|arXiv (Cornell University)|2018. 05. 22.

Advanced Bandit Algorithms Research참고 문헌 11인용 수 15

한 줄 요약

BLOSSOM은 각 단계에서 여러 개의 취득 함수와 국소 최적화 간에 동적으로 전환하는 새로운 베이지안 최적화 알고리즘으로, 베이지안 방법의 탐색 능력과 국소 탐색의 빠른 수렴성을 결합한다. 기대 위험에 기반한 원칙적인 정지 기준을 도입하여, 기대 위험이 사용자가 정의한 임계값 이하로 떨어질 경우 자동으로 최적화를 종료함으로써 기존 방법들과 비교해 훨씬 더 뛰어난 수렴성과 평가 비용 절감을 달성한다.

ABSTRACT

We develop the first Bayesian Optimization algorithm, BLOSSOM, which selects between multiple alternative acquisition functions and traditional local optimization at each step. This is combined with a novel stopping condition based on expected regret. This pairing allows us to obtain the best characteristics of both local and Bayesian optimization, making efficient use of function evaluations while yielding superior convergence to the global minimum on a selection of optimization problems, and also halting optimization once a principled and intuitive stopping condition has been fulfilled.

연구 동기 및 목표

• 고정 예산 기반의 베이지안 최적화의 비효율성을 해결하기 위해 기대 위험에 기반한 자동 정지 기준을 도입한다.
• 각 반복 단계에서 베이지안 최적화와 국소 최적화 간의 지능적인 전환을 통해 수렴 속도를 향상시키고 전역 최적성을 개선한다.
• 표준 가우시안 프로세스 기반 베이지안 최적화의 열악한 국소 수렴 문제를 국소 탐색의 선택적 사용을 통해 극복한다.
• 고정된 반복 횟수 대신 원칙적이고 적응적인 정지 조건을 도입함으로써 최적화 예산에 대한 수동 튜닝의 필요성을 줄인다.
• 기준 함수 평가 수와 비교해 더 뛰어난 최종 해 품질을 달성하면서도 실제 문제와 벤치마크 문제에서 평가 횟수를 줄인다.

제안 방법

• BLOSSOM은 각 단계에서 여러 취득 함수(예: 기대 개선, 예측 엔트로피 검색)와 국소 최적화의 기대 효용을 비교하여 다음 평가 지점을 선택한다.
• 알고리즘은 목적 함수를 모델링하기 위해 가우시안 프로세스를 사용하며, 함수 값과 불확실성에 대한 사후 분포를 유지한다.
• 기대 위험에 기반한 새로운 정지 기준을 적용하여, 추정된 위험이 사용자가 지정한 임계값 이하로 떨어지면 알고리즘을 종료한다.
• 베이지안 최적화와 국소 최적화 간의 선택은 기대 위험 감소가 가장 클 것으로 예측되는 쪽을 선택함으로써 이루어진다.
• 이 방법은 하나의 적응형 프레임워크 안에서 탐색(베이지안 취득 함수를 통한)과 이용(국소 최적화를 통한)을 통합한다.
• 해당 방법은 해석 가능한 임계값 기반의 정지 규칙을 사용하며, 국소 변화만을 고려하는 것이 아니라 전체 GP 모델을 고려함으로써 조기 종료를 방지한다.

실험 결과

연구 질문

• RQ1 비용이 많이 드는 블랙박스 최적화에서 베이지안 최적화와 국소 최적화 간의 동적 전환은 수렴 속도와 최종 해 품질을 향상시킬 수 있는가?
• RQ2 기대 위험에 기반한 정지 기준은 고정된 반복 예산을 대체할 수 있으며, 최적화 성능을 유지하거나 향상시킬 수 있는가?
• RQ3 여러 개의 취득 함수와 국소 탐색을 조합함으로써 낮은 국소 최소값으로 수렴할 위험을 줄일 수 있는가?
• RQ4 기대 위험과 평가 효율성 측면에서 BLOSSOM은 표준 베이지안 최적화 방법(PES, EI 등)과 비교해 어떻게 다른가?
• RQ5 제안된 정지 기준은 충분한 수렴이 이루어졌을 때 신뢰성 있게 최적화를 종료할 수 있으며, 수동 조작 없이도 안정적으로 작동하는가?

주요 결과

• BLOSSOM은 브라인, 캠벨 3힙, 하르트만 4D를 포함한 6개의 벤치마크 함수 중 5개에서 가장 낮은 최종 위험을 기록했으며, 하르트만 4D에서는 중앙값 위험이 5.21e-14이었다.
• 하르트만 6D 문제에서 10^-4 위험 기준을 사용한 BLOSSOM은 유사한 평가 횟수로 PES(0.196)와 EI(0.0229)보다 훨씬 뛰어난 위험 0.0638을 달성했다.
• 하르트만 6D에서 BLOSSOM은 10^-4 기준으로 단계별 위험 곱을 19.1로 줄였으며, PES의 37.6과 EI의 5.28보다 훨씬 더 효율적인 것으로 나타났다.
• 영국 전기 수요 데이터에 대한 가우시안 프로세스의 하이퍼파ram터 최적화에서, BLOSSOM은 종료 시점에 PES와 EI보다 수개의 차수 높은 수렴 성능을 보였다.
• 기대 위험이 목표 이하로 떨어질 경우 자동으로 정지함으로써 불필요한 평가 횟수를 지속적으로 줄였으며, 고정 예산 기반 접근보다 계산 자원 절약 효과를 보였다.
• 더 엄격한 위험 기준 10^-4을 사용했을 경우, BLOSSOM은 국소 최소값을 피하는 데 더 신뢰성이 있었으며, 더 많은 탐색 단계가 필요로 했지만 더 나은 최종 결과를 달성했다.