[논문 리뷰] Adaptive Expansion Bayesian Optimization for Unbounded Global Optimization

Wei Chen, Mark Fuge|arXiv (Cornell University)|2020. 01. 12.

Advanced Multi-Objective Optimization Algorithms참고 문헌 18인용 수 6

한 줄 요약

이 논문은 고정된 경계를 필요로 하지 않고 비유한 전역 최적화를 처리하기 위해 최적화 도중에 검색 공간을 동적으로 확장하는 방법인 적응적 확장 베이지안 최적화(Adaptive Expansion Bayesian Optimization, AEBO)를 제안한다. 낮은 불확실성 영역에 집중하고 탐색-이용 균형을 적응적으로 조정함으로써, AEBO는 합성 함수와 MNIST에서의 MLP 하이퍼파ram터 튜닝에서 최신 기법들을 능가한다.

ABSTRACT

Bayesian optimization is normally performed within fixed variable bounds. In cases like hyperparameter tuning for machine learning algorithms, setting the variable bounds is not trivial. It is hard to guarantee that any fixed bounds will include the true global optimum. We propose a Bayesian optimization approach that only needs to specify an initial search space that does not necessarily include the global optimum, and expands the search space when necessary. However, over-exploration may occur during the search space expansion. Our method can adaptively balance exploration and exploitation in an expanding space. Results on a range of synthetic test functions and an MLP hyperparameter optimization task show that the proposed method out-performs or at least as good as the current state-of-the-art methods.

연구 동기 및 목표

• 고정된 변수 경계 설정 문제를 해결함으로써, 이는 전역 최적해를 제외시킬 수 있음.
• 확장되는 검색 공간에서의 과도한 탐색을 방지하기 위해 불확실성 임계치를 적응적으로 제어함.
• 진정한 최적해가 초기 경계 외부에 있을 경우에도 효과적인 전역 최적화를 가능하게 함.
• 로젠브룩 함수와 같은 탐색 중심 문제 및 MLP 하이퍼파ram터 튜닝에서 성능 향상.
• 비유한 영역에서 탐색과 이용을 균형 잡는 강력하고 적응적인 프레임워크 제공.

제안 방법

• GP 모델의 불확실성이 동적 임계치 이하인 영역을 낮은 불확실성 영역으로 정의하고, 평가를 이 영역로 제한함.
• 손실 최소화 이론적 기준을 통해 유도된 적응적 기준을 사용해 불확실성 임계치를 갱신함으로써 과도한 탐색을 방지함.
• 새로운 관측치가 추가될수록 불확실성 임계치를 증가시켜 검색 공간을 확장함으로써 새로운 영역을 탐색할 수 있도록 함.
• 현재 낮은 불확실성 영역 내에서 다음 평가 지점을 선택하기 위해 기대 개선도(Expected Improvement, EI)를 할당 함수로 사용함.
• 전역 최적해를 포함할 필요가 없는 사용자 지정된 작은 초기 경계로 검색을 초기화함.
• 하이퍼파ram터 튜닝에서 넓은 동적 범위를 가진 파라미터를 다루기 위해 로그 공간에서 방법을 적용함.

실험 결과

연구 질문

• RQ1 진정한 최적해가 고정된 초기 경계 외부에 있을 경우, 베이지안 최적화가 전역 최적해를 효과적으로 찾을 수 있는가?
• RQ2 비유한 최적화에서 검색 공간이 확장될 때 과도한 탐색을 어떻게 방지할 수 있는가?
• RQ3 확장되는 영역에서 탐색과 이용을 균형 잡는 불확실성 임계치의 적응 전략은 무엇인가?
• RQ4 AEBO는 FBO와 EI-H와 같은 최신 기법들과 비교해 합성 및 실제 최적화 과제에서 어떻게 성능을 내는가?
• RQ5 AEBO는 노이즈 있는 관측치와 다양한 문제 특성(예: 국소 최적해 대비 좁은 골짜기) 하에서도 강건성을 유지하는가?

주요 결과

• AEBO는 고정 경계를 사용하는 표준 베이지안 최적화보다 성능이 뛰어나며, 특히 전역 최적해를 포함하지 않는 너무 작은 경계를 사용할 경우 두드러진 성능 향상을 보임.
• 로젠브룩 함수에서, 적응적 임계치를 사용한 AEBO는 고정 임계치 설정보다 낮은 최적성 갭을 달성하며, 특히 좁은 골짜기에서의 과도한 탐색을 피함.
• 라스트린 함수에서, 적응적 임계치를 사용한 AEBO는 고정 임계치 방법보다 높은 탐색 효율성 덕분에 더 나은 성능을 보임.
• AEBO는 FBO-EI와 EI-H와 비교해 더 나은 또는 동등한 성능을 달성했으며, MNIST에서의 MLP 하이퍼파라미터 튜닝 과제에서 큰 고정 경계를 사용한 BO보다 뛰어난 성능을 보임.
• AEBO는 가우시안 노이즈(σ = 0.1) 하에서도 강건성을 유지하며, 노이즈 있는 평가에서 일관된 성능을 보임.
• 손실 최소화에서 유도된 적응적 임계치 전략은 과도한 탐색을 효과적으로 방지하면서도 효과적인 검색 공간 확장을 가능하게 함.