[논문 리뷰] Are we Forgetting about Compositional Optimisers in Bayesian Optimisation?

Antoine Grosnit, Alexander I. Cowen-Rivers외 4명|arXiv (Cornell University)|2020. 12. 15.

Machine Learning and Algorithms참고 문헌 132인용 수 14

한 줄 요약

이 논문은 베이지안 최적화에서의 획득 함수 최대화를 위한 구성적 최적화 프레임워크를 제안한다. 기존의 인기 있는 획득 함수들을 조합 가능한 함수로 재구성하여 고급 최적화 기법을 활용할 수 있도록 한다. 3,958개의 합성 및 실제 작업에서 실시한 광범위한 실험에서 구성적 최적화기는 표준 방법보다 67%의 경우에서 승리했으며, 샘플 효율성과 수렴 속도 향상 측면에서 일관된 성과를 보였다.

ABSTRACT

Bayesian optimisation presents a sample-efficient methodology for global optimisation. Within this framework, a crucial performance-determining subroutine is the maximisation of the acquisition function, a task complicated by the fact that acquisition functions tend to be non-convex and thus nontrivial to optimise. In this paper, we undertake a comprehensive empirical study of approaches to maximise the acquisition function. Additionally, by deriving novel, yet mathematically equivalent, compositional forms for popular acquisition functions, we recast the maximisation task as a compositional optimisation problem, allowing us to benefit from the extensive literature in this field. We highlight the empirical advantages of the compositional approach to acquisition function maximisation across 3958 individual experiments comprising synthetic optimisation tasks as well as tasks from Bayesmark. Given the generality of the acquisition function maximisation subroutine, we posit that the adoption of compositional optimisers has the potential to yield performance improvements across all domains in which Bayesian optimisation is currently being applied.

연구 동기 및 목표

• 베이지안 최적화에서 획득 함수 최대화 문제에 대한 부족한 인식을 다루며, 이는 전체 성능에 결정적인 영향을 미친다.
• 획득 함수를 구성적 구조로 재구성함으로써 현대 최적화 알고리즘을 활용한 더 효과적인 최적화가 가능한지 탐구한다.
• 다양한 블랙박스 최적화 작업을 대상으로 구성적 최적화기와 비구성적 최적화기의 성능을 경험적으로 평가한다.
• 특히 노이즈가 많거나 고차원적인 상황에서 구성적 최적화가 합성 및 실제 환경 모두에서 일관된 이점을 제공하는지 여부를 규명한다.

제안 방법

• 기본 획득 함수(예: 기대 향상, 예측 엔트로피 검색)의 수학적으로 동치인 구성적 형태를 유도하기 위해, 간단한 미분 가능한 함수들의 조합으로 표현한다.
• 획득 함수 최대화 문제를 구성적 최적화 과제로 재정의하여, 아담, RMSProp, 모멘텀이 있는 SGD와 같은 고급 1차 최적화기의 사용을 가능하게 한다.
• 획득 함수의 구성적 형태에 대해 기울기 기반 최적화를 적용하여, 전체 함수 조합을 거쳐 역전파를 통해 기울기를 효율적으로 계산한다.
• 다양한 모델(DT, RF, SVM, kNN 등)과 성능 지표(MAE, MSE, NLL, 정확도)를 사용하여, 3,100개의 합성 작업과 860개의 실제 작업(Bayesmark 벤치마크에서 확보)을 포함한 대규모 경험적 평가를 수행한다.
• 다양한 최적화기 클래스(예: 아담, CMA-ES, 무작위 탐색)와 집계 방법을 고려하여 구성적 최적화기와 비구성적 해법기 간의 성능을 비교한다.
• 최적화기 클래스와 획득 함수에 걸쳐 통계적 집계를 수행하여 중앙값, 최고, 평균 성능를 평가하고, 각 모델과 작업 유형별 상세한 박스플롯 분석을 실시한다.

실험 결과

연구 질문

• RQ1 획득 함수를 구성적 함수로 재구성하여 현대 기울기 기반 방법을 활용한 더 효과적인 최적화가 가능한가?
• RQ2 합성 및 실제 베이지안 최적화 작업 전반에서 구성적 최적화기는 전통적 해법기와 비교해 수렴 속도와 최종 성능 측면에서 어떤가?
• RQ3 구성적 최적화기의 성능 이점은 최적화 대상 모델 클래스(예: DT, RF, SVM) 또는 성능 지표(예: MAE, 정확도)에 따라 달라지는가?
• RQ4 실제 환경에서 노이즈가 많거나 고차원적이며 비凸인 획득 함수에 대해서도 구성적 최적화의 이점이 일관되게 유지되는가?

주요 결과

• 실시한 3,958개의 실험 중 67%에서 구성적 최적화기가 비구성적 해법기보다 뛰어난 성능를 보였으며, 통계적으로 유의미한 향상이 67%의 경우에서 관찰되었다.
• 합성 작업에서는 1차 구성적 최적화기가 다른 방법보다 항상 낮은 손실을 기록했으며, 3,100개의 실험 전부에서 최고 성능를 기록했다.
• Bayesmark 회귀 작업에서는 결정 트리와 랜덤 포레스트의 경우 구성적 최적화기가 비구성적 방법보다 평균 점수에서 높은 성능를 보였고, SVM과 kNN의 경우 성능가 비슷했다.
• 분류 작업에서는 랜덤 포레스트의 모든 성능 그룹(최고, 중앙값, 평균)에서 구성적 방법이 비구성적 방법을 앞섰으며, 결정 트리의 경우 후속 최적화 단계(16회 및 128회 평가)에서 일관된 성능 향상을 보였다.
• 라소 모델의 경우 평가 예산이 높을수록 구성적 최적화기가 중앙값 성능에서 뛰어났지만, 최고 성능 조합에서는 성능 저하가 관찰되었다.
• 연구 결과, 최적화기 클래스와 집계 방법의 선택이 성능에 중대한 영향을 미치며, 구성적 방법은 특히 회귀 및 분류 벤치마크 전반에서 DT와 RF와 같은 모델에서 뛰어난 성능를 보였다.