[논문 리뷰] Input Warping for Bayesian Optimization of Non-stationary Functions

Jasper Snoek, Kevin Swersky외 2명|arXiv (Cornell University)|2014. 02. 05.

Gaussian Processes and Bayesian Inference참고 문헌 35인용 수 100

한 줄 요약

이 논문은 베타 CDF를 사용한 입력 왜곡을 제안하여 베이지안 최적화에서 비정상 함수를 모델링하고, 가우시안 프로세스가 입력에 따라 변하는 길이 척도에 적응할 수 있도록 한다. 이 방법은 입력 공간의 이항 변환을 자동으로 학습하여 비정상 문제, 예를 들어 하이퍼파rameter 튜닝에서 최적화 성능을 크게 향상시키며, 이전 최고 성능 기법들보다 수렴 속도와 해의 품질 면에서 뛰어나다.

ABSTRACT

Bayesian optimization has proven to be a highly effective methodology for the global optimization of unknown, expensive and multimodal functions. The ability to accurately model distributions over functions is critical to the effectiveness of Bayesian optimization. Although Gaussian processes provide a flexible prior over functions which can be queried efficiently, there are various classes of functions that remain difficult to model. One of the most frequently occurring of these is the class of non-stationary functions. The optimization of the hyperparameters of machine learning algorithms is a problem domain in which parameters are often manually transformed a priori, for example by optimizing in "log-space," to mitigate the effects of spatially-varying length scale. We develop a methodology for automatically learning a wide family of bijective transformations or warpings of the input space using the Beta cumulative distribution function. We further extend the warping framework to multi-task Bayesian optimization so that multiple tasks can be warped into a jointly stationary space. On a set of challenging benchmark optimization tasks, we observe that the inclusion of warping greatly improves on the state-of-the-art, producing better results faster and more reliably.

연구 동기 및 목표

• 실세계의 베이지안 최적화 문제에서 흔히 나타나는 비정상 함수를 모델링하는 데에 정상적인 가우시안 프로세스의 한계를 해결한다.
• 비정상성의 영향을 줄이기 위해 입력 공간의 변환을 자동으로 학습할 수 있는 계산적으로 효율적인 방법을 개발한다.
• 다중 작업 베이지안 최적화에 왜곡 프레임워크를 확장하여 모든 작업이 공동으로 정상적인 표현을 가지도록 한다.
• 목적 함수의 공간적으로 변화하는 길이 척도를 포착함으로써 최적화의 신뢰성과 속도를 향상시킨다.
• 학습된 비정상성에 대한 후행 분석을 가능하게 하여 파rameter 공간의 구조에 대한 통찰을 제공한다.

제안 방법

• 비선형적이고 입력에 의존적인 변환을 모델링하기 위해 각 입력 차원에 대해 베타 분포의 누적분포함수(CDF)를 사용한 이항 변환을 적용한다.
• 베타 분포의 형상 매개변수에 대해 적분하여 베이지안 방식으로 변환 함수를 학습한다.
• 가우시안 프로세스의 커널 함수에 변환을 통합하여 목적 함수의 민감한 비정상성 모델링을 가능하게 한다.
• 모든 작업이 공동으로 정상적인 표현을 가지는 공유된 왜곡된 입력 공간을 학습함으로써 다중 작업 베이지안 최적화에 프레임워크를 확장한다.
• 마르코프 체인 몬테카를로(MCMC) 샘플링을 사용하여 변환 매개변수와 하이퍼파rameter의 사후 분포를 추론한다.
• 베타 CDF의 해석 가능성 활용을 통해 학습된 변환을 분석하고 파rameter 민감도에 대한 통찰을 도출한다.

실험 결과

연구 질문

• RQ1 입력 왜곡에 베타 CDF를 사용하면 입력 공간 전역에서 길이 척도가 변하는 경우에도 비정상 함수를 효과적으로 모델링할 수 있는가?
• RQ2 비정상 기준 테스트 문제에서 표준 정상 가우시안 프로세스 모델과 비교해 입력 왜곡이 최적화 성능을 어떻게 향상시키는가?
• RQ3 왜곡 프레임워크는 다중 작업 베이지안 최적화로 성공적으로 확장될 수 있으며, 관련 작업 간의 전이 학습을 향상시킬 수 있는가?
• RQ4 학습된 왜곡 함수는 파rameter 민감도 및 모델 행동에 대한 도메인 전문 지식에 부합하는가?
• RQ5 비정상성 모델링이 최적 해에 도달하기 위해 필요한 함수 평가 횟수를 얼마나 줄일 수 있는가?

주요 결과

• 입력 왜곡은 연속적인 하이퍼파rameter 최적화 문제에서 Snoek 등(2012)의 최신 기법보다 뛰어난 성능을 보이며, 더 빠른 수렴과 더 나은 해를 도출한다.
• HPOLib 벤치마크에서 제안된 방법은 모든 연속적 하이퍼파라미터 튜닝 작업에서 뛰어난 성능을 기록하며, 일관된 개선 효과를 보였다.
• 다중 작업 베이지안 최적화에서, 왜곡된 MTBO는 비왜곡된 MTBO보다 더 나은 전이 학습을 가능하게 하여, 예를 들어 USPS에서 사전 훈련 후 MNIST와 같은 목표 작업에서 더 빠른 수렴을 이룬다.
• 학습된 왜곡 함수는 도메인 인사이트와 일치한다. 예를 들어, 더 작은 데이터셋인 USPS에서는 더 높은 L2 정규화가 선호되며, 이는 데이터 효율성의 트레이드오���을 반영한다.
• 학습된 왜곡의 후행 분석을 통해 딥러닝 하이퍼파라미터 검색에서 기존 설계 히وري스틱을 뒤집는 통찰을 발견하였다.
• 이 방법은 수렴 속도와 신뢰성 양면에서 향상되었으며, 표준 방법이 실패하는 지역 최소값을 항상 회피하는 경향을 보였다.