[논문 리뷰] Scalable Global Optimization via Local Bayesian Optimization

David Eriksson, Michael Pearce외 3명|arXiv (Cornell University)|2019. 10. 03.

Advanced Bandit Algorithms Research인용 수 144

한 줄 요약

본 논문은 TuRBO를 소개한다. 이는 독립적인 지역 GPs와 다수의 신뢰 영역(TR)을 사용하는 로컬 모델 기반 베이지안 최적화 프레임워크이며, 암묵적 밴딧을 통해 샘플을 전역적으로 할당하여 차원가 높은 비용이 큰 블랙박스 함수의 성능을 향상시킨다.

ABSTRACT

Bayesian optimization has recently emerged as a popular method for the sample-efficient optimization of expensive black-box functions. However, the application to high-dimensional problems with several thousand observations remains challenging, and on difficult problems Bayesian optimization is often not competitive with other paradigms. In this paper we take the view that this is due to the implicit homogeneity of the global probabilistic models and an overemphasized exploration that results from global acquisition. This motivates the design of a local probabilistic approach for global optimization of large-scale high-dimensional problems. We propose the $ exttt{TuRBO}$ algorithm that fits a collection of local models and performs a principled global allocation of samples across these models via an implicit bandit approach. A comprehensive evaluation demonstrates that $ exttt{TuRBO}$ outperforms state-of-the-art methods from machine learning and operations research on problems spanning reinforcement learning, robotics, and the natural sciences.

연구 동기 및 목표

• 고차원이고 비용이 많이 드는 블랙박스 함수의 글로벌 최적화를 동기 부여하고 글로벌 대리모델의 한계를 해결한다.
• 이질성과 고차원성을 다루면서 과도한 탐색을 초래하지 않는 확장 가능하고 로컬 Bayesian 최적화 프레임워크를 제안한다.
• 로봇공학, 강화학습, 우주론, 그리고 합성 벤치마크 전반에 걸쳐 TuRBO의 실증적 우수성을 보여준다.

제안 방법

• 각각의 자체 TR(trust region)에서 작동하는 다중 로컬 Gaussian process surrogate를 유지한다.
• 탐색과 활용의 균형을 맞추기 위해 성공/실패 카운트를 통해 TR 크기를 동적으로 조정한다.
• Thompson sampling을 사용해 TR 내외에서 배치 후보를 선택하고, 암묵적 다-암밴딧 스타일의 전역 할당을 가능하게 한다.
• 각 TR을 독립된 bandit 팔로 간주하여 유망한 영역으로 샘플 할당을 안내한다.
• 다양한 작업에 대해 BO 변형, CMA-ES, 무작위 탐색을 포함한 광범위한 베이스라인과 비교한다.

실험 결과

연구 질문

• RQ1 고차원이고 비용이 많이 드는 함수에서 전역 대리모델보다 암묵적 밴딧 할당을 가진 지역 probabilistic 모델 집합이 성능 우수성을 보일까?
• RQ2 동적 TR 크기 조정과 병렬 로컬 탐색이 실용적으로 확장 가능하고 강건한 글로벌 최적화를 가져올 수 있을까?
• RQ3 TuRBO가 실제 세계의 작업에서 최첨단 Bayesian optimization, 진화 전략, 확률적 최적화와 어떻게 비교되는가?
• RQ4 배치 크기가 Wall-clock 효율성과 솔루션 품질에 어떤 영향을 미치는가?
• RQ5 로컬 모델이 단일 글로벌 모델에 비해 예측 정확도나 하이퍼파라미터 학습성 면에서 이점을 제공하는가?

주요 결과

• TuRBO는 일관되게 우수한 해를 찾고 로봇공학, 강화학습, 자연과학 전반에서 종종 베이스라인보다 우수한 성능을 보인다.
• 배치 크기가 증가함에 따라 선형 속도 향상이 관찰되며 해의 품질을 해치지 않는다.
• 로컬 GP는 단일 글로벌 GP보다 예측 성능이 우수하고 더 유연한 하이퍼파라미터 설정이 가능하다.
• 다중의 작은 TR은 다모달성 및 다양한 최적해를 포착하여 밴딧과 같은 할당을 통해 효과적인 글로벌 탐색을 가능하게 한다.
• 다중 영역(m>1)으로 구성된 TuRBO는 일반적으로 단일 영역 변형보다 우수한 성능을 보이며, 특히 고차원 문제에서 그렇다.
• 대형 배치 실험은 해 품질을 유지하면서 벽 시계 시간의 거의 선형 증가를 가져오는 속도 향상을 가능하게 한다.