[논문 리뷰] Bayesian Hyperparameter Optimization for Ensemble Learning

Julien-Charles Lévesque, Christian Gagné외 1명|arXiv (Cornell University)|2016. 05. 20.

Advanced Multi-Objective Optimization Algorithms참고 문헌 7인용 수 35

한 줄 요약

이 논문은 고정 크기의 앙상블에서 기존 모델들과의 상호작용을 고려하면서도 반복적으로 개별 분류기의 초파rameter를 튜닝함으로써 앙상블 학습을 위한 베이지안 초파rameter 최적화를 제안한다. 다양한 데이터셋과 모델 유형(SVM, 다양한 학습기, CIFAR-10의 CNN 포함)에서 표준 베이지안 최적화 또는 사후 앙상블 구성 방식보다 유의미하게 높은 일반화 정확도를 달성하며, 계산 비용은 최소한으로 유지된다.

ABSTRACT

In this paper, we bridge the gap between hyperparameter optimization and ensemble learning by performing Bayesian optimization of an ensemble with regards to its hyperparameters. Our method consists in building a fixed-size ensemble, optimizing the configuration of one classifier of the ensemble at each iteration of the hyperparameter optimization algorithm, taking into consideration the interaction with the other models when evaluating potential performances. We also consider the case where the ensemble is to be reconstructed at the end of the hyperparameter optimization phase, through a greedy selection over the pool of models generated during the optimization. We study the performance of our proposed method on three different hyperparameter spaces, showing that our approach is better than both the best single model and a greedy ensemble construction over the models produced by a standard Bayesian optimization.

연구 동기 및 목표

• 초파라미터 최적화와 앙상블 학습 간 격차를 해소하기 위해 베이지안 최적화를 앙상블 구성과 통합함으로써 문제를 해결한다.
• 개별 모델을 독립적으로 최적화하는 대신 앙상블 구성 방식을 최적화하여 일반화 성능을 향상시킨다.
• 지능적인 모델 선택과 상호작용 인식 튜닝을 통해 성능을 극대화하면서 계산 비용을 최소화한다.
• SVM, 다양한 학습 알고리즘, 딥 네트워크를 포함한 다양한 초파라미터 공간에서 방법을 평가한다.
• 베이지안 방법을 통한 앙상블 최적화가 단일 모델 최적화 및 사후 앙상블 생성 방식을 모두 능가하는지 입증한다.

제안 방법

• 이 방법은 고정 크기의 앙상블을 유지하며, 기존 모델들과의 상호작용을 고려한 성능 관측치를 기반으로 한 번에 하나의 분류기에서만 베이지안 최적화를 수행한다.
• 각 반복 단계에서, 이전 평가 결과를 기반으로 학습된 가우시안 프로세스 사전분포 위에서 획득 함수를 최대화함으로써 새로운 분류기의 초파라미터를 선택한다.
• 성능 향상을 위해 라운드로빈 전략을 사용하여 앙상블을 업데이트함으로써 균형 잡힌 탐색과 상호작용 인식 튜닝을 보장한다.
• 성능 평가는 검증 세트에서 교차 검증 오차를 사용하며, 기본 목적함수로는 0-1 손실을 사용한다.
• 최적화 과정에서 생성된 모델들로부터 사후 앙상블를 구성하며, 검증 정확도 기반의 탐욕적 선택 방식을 사용한다.
• 이전에 훈련된 모델을 재사용함으로써 훈련 비용을 줄이고, 전략적인 앙상블 구성으로 일반화 성능를 향상시킨다.

실험 결과

연구 질문

• RQ1 앙상블 구성원 간의 상호작용을 모델링함으로써 베이지안 초파라미터 최적화를 앙상블 학습에 효과적으로 확장할 수 있는가?
• RQ2 반복적이고 상호작용 인식 튜닝을 통해 앙상블 구성 방식을 최적화하면 단일 모델의 표준 베이지안 최적화를 초월해 일반화 성능 향상을 이룰 수 있는가?
• RQ3 제안된 앙상블 최적화 방법은 고전적 베이지안 최적화를 통해 생성된 모델들로부터 사후 앙상블를 구성한 것과 비교해 어떻게 성능을 냅니다?
• RQ4 이 방법은 SVM, 다양한 학습기, 딥 네트워크를 포함한 다양한 초파라미터 공간에서 성능 향상을 유지하는가?
• RQ5 BO-best 및 BO-post와 같은 기준 모델에 비해 성능 향상이 통계적으로 유의미한가?

주요 결과

• 제안된 앙상블 최적화(EO) 방법은 세 가지 벤치마크 데이터셋에서 표준 베이지안 최적화(BO) 및 사후 앙상블 구성(BO-post)을 모두 유의미하게 뛰어넘으며, 윌콕슨 부호 순위 검정에서 p-값이 0.05 이하이다.
• scikit-learn 초파라미터 공간에서 EO는 평균 일반화 오차 0.03을 달성하였으며, BO(0.05) 및 BO-best(0.05)보다 유의미하게 낮았고, 프리드먼 검정의 p-값은 1.5×10⁻⁵이었다.
• CIFAR-10 데이터셋에서 CNN을 사용한 경우, EO-post는 BO-post보다 유의미하게 낮은 일반화 오차를 기록하였으며(p = 0.005), 딥 러닝 환경에서도 효과적임을 입증하였다.
• letter(ltr), musk-2(msk), semeion(sem) 등의 데이터셋에서 일반화 오차가 크게 감소하여 도전적인 케이스에서 강력한 성능 향상을 보였다.
• 라운드로빈 최적화 전략 덕분에 표준 베이지안 최적화에 비해 계산 비용을 거의 증가시키지 않으면서 성능 향상을 달성하였다.
• EO 과정에서 생성된 모델들로부터 사후 앙상블를 구성한 결과, 표준 BO에서 생성된 모델들로부터의 사후 앙상블보다 항상 뛰어난 성능을 보였으며, 최적화 과정에서의 상호작용 인식 튜닝의 가치를 확인하였다.