[논문 리뷰] HEBO: Heteroscedastic Evolutionary Bayesian Optimisation.

Alexander I. Cowen-Rivers, Wenlong Lyu외 5명|arXiv (Cornell University)|2020. 12. 07.

Advanced Multi-Objective Optimization Algorithms참고 문헌 24인용 수 19

한 줄 요약

HEBO는 비정상성과 이방성 목표 함수를 다루기 위해 다목적 할당 집합과 강건한 할당 최대화를 통해 이방성 목표 함수를 모델링하는 이방성 진화 베이지안 최적화 프레임워크를 제안한다. 이 방법은 비강건하고 전통적인 접근 방식에 비해 더 뛰어난 구성 설정 쿼리와 경험적 성능을 달성한다.

ABSTRACT

Inspired by the increasing desire to efficiently tune machine learning hyper-parameters, in this work we rigorously analyse conventional and non-conventional assumptions inherent to Bayesian optimisation. Across an extensive set of experiments we conclude that: 1) the majority of hyper-parameter tuning tasks exhibit heteroscedasticity and non-stationarity, 2) multi-objective acquisition ensembles with Pareto-front solutions significantly improve queried configurations, and 3) robust acquisition maximisation affords empirical advantages relative to its non-robust counterparts. We hope these findings may serve as guiding principles, both for practitioners and for further research in the field.

연구 동기 및 목표

• 기존 베이지안 최적화의 하이퍼파rameter 튜닝에서의 가정을 조사하는 것.
• 실세계 하이퍼파rameter 최적화 작업에서 퍼지성과 비정상성의 일반성 문제를 해결하는 것.
• 파레토 최적 해를 기반으로 한 다목적 할당 집합을 통해 구성 설정 쿼리 품질을 향상시키는 것.
• 더 나은 경험적 성능를 위해 할당 최대화의 강건성을 향상시키는 것.
• 베이지안 최적화 분야의 연구자들과 실무자들을 위한 지침 원칙을 제공하는 것.

제안 방법

• 이 방법은 입력 공간 전역에서 변화하는 불확실성 추정치를 학습하여 목표 함수의 이방성성을 모델링한다.
• 검색 공간을 탐색하고 할당 함수 최적화를 이끌기 위해 진화 전략을 사용한다.
• 다양성과 파레토 최적 해에의 수렴을 촉진하기 위해 다수의 할당 함수를 조합한 다목적 할당 집합을 사용한다.
• 노이즈가 있거나 불확실한 평가를 처리하기 위해 강건한 할당 최대화를 구현하여 안정성과 성능을 향상시킨다.
• 진화적 탐색과 베이지안 최적화를 통합하여 탄력적이고 적응적인 탐색을 가능하게 한다.
• 효율성을 검증하기 위해 광범위한 하이퍼파rameter 튜닝 작업 세트에서 이 방법을 평가한다.

실험 결과

연구 질문

• RQ1 실세계 하이퍼파rameter 튜닝 작업에서 이방성과 비정상성이 어느 정도 나타나는가?
• RQ2 파레토 최적 해를 기반으로 한 다목적 할당 집합을 사용할 경우 구성 설정의 품질에 어떤 영향을 미치는가?
• RQ3 강건한 할당 최대화의 경험적 영향은 비강건한 변형에 비해 어떠한가?
• RQ4 이방성 모델링은 비정상적 환경에서 베이지안 최적화 성능을 향상시킬 수 있는가?
• RQ5 베이지안 최적화에서 기존 및 비기존 가정을 분석함으로써 도출되는 설계 원칙은 무엇인가?

주요 결과

• 대부분의 하이퍼파rameter 튜닝 작업에서 뚜렷한 이방성과 비정상성이 관찰되어 기존의 표준 베이지안 최적화 가정에 도전한다.
• 파레토 최적 해를 기반으로 한 다목적 할당 집합은 쿼리된 구성 설정의 품질 향상에 명백한 영향을 미친다.
• 강건한 할당 최대화는 경험적 성능 측면에서 비강건한 대안들보다 일관되게 뛰어나다.
• 제안된 HEBO 프레임워크는 기준 방법에 비해 더 나은 구성 설정 탐색 효율성과 수렴성을 달성한다.
• 이러한 발견들은 향후 베이지안 최적화 시스템에서 이방성 및 강건한 모델링을 우선시해야 한다는 것을 시사한다.
• 본 연구는 하이퍼파rameter 튜닝 분야의 실무자들과 향후 연구를 위한 실질적인 통찰과 지침 원칙을 제공한다.