[논문 리뷰] Unbounded Bayesian Optimization via Regularization

Bobak Shahriari, Alexandre Bouchard‐Côté외 1명|arXiv (Cornell University)|2015. 08. 14.

Advanced Bandit Algorithms Research참고 문헌 18인용 수 16

한 줄 요약

이 논문은 초기 경계 상자 외부로 검색 공간을 자동으로 확장할 수 있도록 해주는 정규화 기반 방법과 볼륨 두 배 늘리기 히وري스틱을 제안한다. 이로 인해 사용자가 지정한 경계가 필요 없어지며, 표준 베이지안 최적화의 한계를 해결한다. 핵심 기여는 비정상적인 사전 평균을 통해 획득 함수 최적화를 정규화함으로써 제약 없는 최적화를 가능하게 하되 성능을 유지하는 것이다. 실험 결과는 신경망 하이퍼파rameter 튜닝에서 더 나은 탐색과 높은 테스트 정확도를 보여준다.

ABSTRACT

Bayesian optimization has recently emerged as a popular and efficient tool for global optimization and hyperparameter tuning. Currently, the established Bayesian optimization practice requires a user-defined bounding box which is assumed to contain the optimizer. However, when little is known about the probed objective function, it can be difficult to prescribe such bounds. In this work we modify the standard Bayesian optimization framework in a principled way to allow automatic resizing of the search space. We introduce two alternative methods and compare them on two common synthetic benchmarking test functions as well as the tasks of tuning the stochastic gradient descent optimizer of a multi-layered perceptron and a convolutional neural network on MNIST.

연구 동기 및 목표

• 표준 베이지안 최적화에서 검색 공간에 사전에 정의된 경계 상자(bounding box)가 필요하다는 한계를 해결하기 위해.
• 진짜 최적값이 초기 경계 외부에 있을 경우 최적화 과정에서 검색 공간을 자동으로 확장할 수 있도록 하기 위해.
• 기존의 GP 기반 베이지안 최적화 프레임워크와 호환되는 실용적이고 즉시 사용 가능한 방법을 개발하기 위해.
• 합성 및 실제 하이퍼파rameter 튜닝 과제에서 정규화 기반과 히وري스틱 기반 접근법의 성능를 비교하기 위해.
• 제약 없는 최적화가 초기 상자에 전역 최적값이 포함되어 있지 않을 경우에 특히 더 나은 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• 획득 함수 최댓값이 무한대에서 발생하는 것을 방지하기 위해 GP 사전에 비정상적인 사전 평균을 정규화 요소로 도입하여 제약 없는 최적화를 가능하게 한다.
• 초기 검색 상자의 경계 근처의 점을 페널티 처리하는 힌지-이차 정규화 함수를 사용하여 균일한 탐색을 촉진한다.
• 정기적인 간격으로 검색 공간의 볼륨을 두 배로 늘리는 볼륨 두 배 늘리기 히وري스틱을 제안한다.
• 정규화된 GP 사전과 함께 표준 기대 향상(EI) 획득 함수를 적용하여 표준 최적화 도구를 수정 없이 사용할 수 있도록 한다.
• 획득 함수의 Supremum이 유한해지도록 보장하면서도 목표 함수를 모델링하기 위해 비정상적인 평균을 가진 가우시안 프로세스 사전을 사용한다.
• 기존의 베이지안 최적화 툴박스와 호환되도록 구현하며, 사전 평균만 변경하면 된다.

실험 결과

연구 질문

• RQ1 불량한 초기 경계 상자 선택에 대해 강건한 베이지안 최적화를 위해 자동으로 검색 공간을 확장할 수 있는가?
• RQ2 GP 사전 평균의 정규화가 제약 없는 최적화에서 탐색 행동과 수렴에 어떤 영향을 미치는가?
• RQ3 고차원 및 노이즈가 많은 환경에서 볼륨 두 배 늘리기 히وري스틱의 성능는 정규화된 획득 함수 최적화와 비교해 어떻게 되는가?
• RQ4 진짜 최적값이 초기 영역 외부에 있을 경우 제안된 방법이 하이퍼파rameter 튜닝 성능을 향상시키는가?
• RQ5 수렴 속도와 최종 해의 품질 측면에서 제안된 방법은 표준 베이지안 최적화와 어떻게 비교되는가?

주요 결과

• MLP-MNIST 작업에서 힌지-이차 정규화 획득 함수(EI-H)는 표준 기대 향상보다 테스트 정확도에서 20% 향상되었다.
• CNN-MNIST 작업에서는 EI-H가 표준 기대 향상보다 테스트 정확도를 거의 10% 향상시켜 박스 외부 최적화에서 강력한 성능을 보였다.
• 볼륨 두 배 늘리기 히وري스틱은 실용적으로 잘 작동했으며, 저차원에서 중간 차원까지의 환경에서 강력한 베이스라인으로 기능했다.
• 시각화 결과 EI-H와 EI-Q는 표준 EI 및 볼륨 두 배 늘리기 변형과 달리 초기 상자의 모서리나 경계에 점을 선택하지 않았다.
• 제안된 방법들은 초기 경계 상자 외부 영역을 성공적으로 탐색하여, 초기 상자에 전역 최적값이 포함되어 있지 않더라도 최적값을 찾을 수 있음을 확인했다.
• 정규화 방법은 경계 상자 필요 없이 제약 없는 최적화를 가능하게 하였으며, 표준 GP 기반 최적화 파이프라인과의 호환성을 유지했다.