[논문 리뷰] An Empirical Study of Assumptions in Bayesian Optimisation

Alexander I. Cowen-Rivers, Wenlong Lyu외 8명|arXiv (Cornell University)|2020. 12. 07.

Gaussian Processes and Bayesian Inference참고 문헌 84인용 수 21

한 줄 요약

이 논문은 기계 학습의 초파rameter 튜닝을 위한 베이지안 최적화에서 핵심 가정을 경험적으로 조사한다. 실제 작업에서는 종종 이방성(variance heterogeneity)과 비정상성(non-stationarity)을 보이며, 파레토-프론트 해를 활용한 다중목표 획득 함수 앙상블과 강건한 획득 함수 최대화가 기존 방법에 비해 최적화 성능을 크게 향상시킴을 보여준다.

ABSTRACT

Inspired by the increasing desire to efficiently tune machine learning hyper-parameters, in this work we rigorously analyse conventional and non-conventional assumptions inherent to Bayesian optimisation. Across an extensive set of experiments we conclude that: 1) the majority of hyper-parameter tuning tasks exhibit heteroscedasticity and non-stationarity, 2) multi-objective acquisition ensembles with Pareto-front solutions significantly improve queried configurations, and 3) robust acquisition maximisation affords empirical advantages relative to its non-robust counterparts. We hope these findings may serve as guiding principles, both for practitioners and for further research in the field.

연구 동기 및 목표

• 베이지안 최적화에서 정상성(stationarity)과 동질성(homoscedasticity)이라는 전통적 가정의 타당성을 실제 초파라미터 튜닝 작업에서 검토하는 것.
• 파레토-프론트 해를 활용한 다중목표 획득 함수의 효과성 평가를 통해 구성 품질 향상 여부를 점검하는 것.
• 획득 함수 최적화 시 불확실성을 고려한 강건한 획득 함수 최대화 전략이 실제 성능 향상에 기여하는지 평가하는 것.
• 베이지안 최적화 분야의 연구자들과 실무자들에게 실질적인 통찰과 지침을 제공하는 것.

제안 방법

• 모델 가정을 평가하기 위해 다양한 초파라미터 튜닝 작업에서 광범위한 경험적 실험을 수행한 바.
• 파레토-프론트 해를 활용하여 다중 기준을 동시에 최적화하는 다중목표 획득 함수 앙상블을 평가한 바.
• 획득 함수 최적화 과정에서 불확실성을 통합하여 강건한 획득 함수 최대화를 구현함으로써 노이즈 있는 평가에 대한 민감도를 감소시켰음.
• 동일한 실험 조건 하에서 강건한 및 비강건한 획득 함수 최대화 전략을 비교하여 성능 차이를 고립 분석함.
• 기준 작업들에서 목적 함수의 통계적 성질, 특히 이방성과 비정상성을 분석함.
• 기본 모델로 표준 베이지안 최적화 프레임워크(Gaussian processes 등)를 사용하였으며, 획득 함수 설계 및 최적화 방식에 수정을 가함.

실험 결과

연구 질문

• RQ1 실제 초파라미터 튜닝 작업에서 베이지안 최적화의 정상성과 동질성 가정이 어느 정도 위반되는가?
• RQ2 파레토-프론트 해를 기반으로 한 다중목표 획득 함수 앙상블은 단일목표 획득 함수에 비해 구성 품질 측면에서 어떻게 비교되는가?
• RQ3 획득 함수 최적화 시 불확실성을 고려한 강건한 획득 함수 최대화 전략은 비강건한 전략에 비해 측정 가능한 성능 향상을 이끌어내는가?
• RQ4 표준 베이지안 최적화에서 가장 자주 위반되는 가정은 무엇이며, 이러한 위반은 최적화 결과에 어떤 영향을 미치는가?

주요 결과

• 대부분의 초파라미터 튜닝 작업에서 심각한 이방성과 비정상성이 관찰되어, 표준적인 정상성과 동질성 목적 함수 가정에 도전한다.
• 파레토-프론트 해를 통합한 다중목표 획득 함수 앙상블은 단일목표 방법에 비해 쿼리된 구성의 품질 향상이 명백하게 나타난다.
• 강건한 획득 함수 최대화 전략은 비강건한 전략에 비해 일관되게 뛰어난 성능을 보이며 수렴성과 해 품질 측면에서 실증적 우수성을 입증한다.
• 연구 결과는 기존의 베이지안 최적화 가정이 실무에서 자주 위반됨을 시사하며, 더 유연하고 강건한 최적화 전략의 필요성을 제기한다.