[논문 리뷰] Sequential Model-Based Ensemble Optimization

Alexandre Lacoste, Hugo Larochelle외 2명|arXiv (Cornell University)|2014. 02. 04.

Machine Learning and Data Classification참고 문헌 9인용 수 20

한 줄 요약

이 논문은 무지개 베이지안 학습을 활용하여 고성능 모델 앙상블을 자동으로 구성하는 순차적 모델 기반 앙상블 최적화(ESMBO)를 제안한다. SMBO의 확장판인 ESMBO는 무한한 초파rameter 설정 공간을 최적화하고, 베이지안 앙상블 평균을 통해 가중치를 부여함으로써, 22개의 회귀 및 39개의 분류 데이터셋에서 표준 SMBO보다 일관되게 뛰어난 성능을 발휘한다.

ABSTRACT

One of the most tedious tasks in the application of machine learning is model selection, i.e. hyperparameter selection. Fortunately, recent progress has been made in the automation of this process, through the use of sequential model-based optimization (SMBO) methods. This can be used to optimize a cross-validation performance of a learning algorithm over the value of its hyperparameters. However, it is well known that ensembles of learned models almost consistently outperform a single model, even if properly selected. In this paper, we thus propose an extension of SMBO methods that automatically constructs such ensembles. This method builds on a recently proposed ensemble construction paradigm known as agnostic Bayesian learning. In experiments on 22 regression and 39 classification data sets, we confirm the success of this proposed approach, which is able to outperform model selection with SMBO.

연구 동기 및 목표

• 초파라미터 튜닝만큼 번거로운 모델 앙상블 자동 생성 문제를 해결한다. 그러나 이는 스케일러블한 자동화가 부족하다.
• 기존의 앙상블 방법이 모델 조합에 대한 수동 선택이나 격자 탐색에 의존하는 한계를 극복한다.
• 단일 모델이 아닌 앙상블을 생성하도록 순차적 모델 기반 최적화(SMBO)를 확장하여 일반화 성능을 향상시킨다.
• 진짜 리스크에 대한 사전 지식이 필요 없이 최적의 앙상블 가중치를 부여할 수 있도록 무지개 베이지안 학습을 SMBO에 통합한다.
• SMBO의 효율성을 유지하면서 앙상블 평균을 통해 더 나은 일반화 성능을 달성하는 방법을 개발한다.

제안 방법

• 표준 순차적 업데이트에서 벗어나, 동시에 여러 초파라미터 설정을 최적화하는 방식으로 SMBO를 수정하여 다양한 모델 패러다임을 탐색한다.
• 무지개 베이지안 프레임워크를 사용해 경험적 성능에 기반해 최적의 가중치를 모델에 할당함으로써, 진짜 모델이 가설 공간에 포함되어 있음을 가정하지 않고 기대 리스크를 최소화한다.
• 무지개 베이지안 가중치를 추정하기 위해 부트스트랩 기반 추정법을 구현하여 최적화 도중 효율적이고 안정적인 앙상블 구축을 가능하게 한다.
• 초파라미터 공간에 대한 서rogate 모델(예: 가우시안 프로세스)을 유지하여 탐색을 안내하지만, 개별 모델 성능이 아닌 앙상블 성능을 예측하도록 확장한다.
• SMBO 최적화 단계와 앙상블 평가를 번갈아 수행함으로써, 어떤 초파라미터 조합이 가장 강력한 앙상블 예측을 낳는지 학습할 수 있도록 한다.
• 재학습을 피하고 기존에 학습된 모델을 재사용함으로써 계산 효율성을 확보하며, 추론 시 추가 비용이 발생하지 않는다.

실험 결과

연구 질문

• RQ1 SMBO는 개별 모델 성능이 아닌 앙상블 성능을 최적화하도록 확장될 수 있는가?
• RQ2 무지개 베이지안 가중치를 통해 여러 초파라미터 설정을 조합하면, 가장 우수한 단일 모델을 초월해 일반화 성능이 향상되는가?
• RQ3 제안된 앙상블 최적화 SMBO의 수렴 속도와 성능는 표준 SMBO 및 무작위 탐색과 비교해 어떻게 되는가?
• RQ4 어떤 초파라미터 공간에서 단일 모델 선택에 비해 앙상블 최적화가 가장 큰 성과를 내는가?
• RQ5 더 넓은 모델 조합 공간을 탐색하면서도 수렴 속도를 유지하거나 향상시킬 수 있는가?

주요 결과

• ESMBO는 22개의 회귀 및 39개의 분류 데이터셋에서 표준 SMBO를 뛰어나게 성능을 발휘하며, 이중 비교에서 가장 높은 승리 빈도를 기록했다.
• 멀티레이어 퍼셉트론과 서포트 벡터 리그레션과 같은 복잡한 모델을 포함한 12개의 초파라미터 공간 중 10개에서 ESMBO는 SMBO보다 통계적으로 유의미한 성능 향상을 달성했다.
• ESMBO의 기대 순위는 SMBO 및 RS보다 항상 낮았으며, 멀티레이어 퍼셉트론에서는 평균 기대 순위 1.92, 랜덤 포레스트에서는 2.25를 기록했다.
• 시간적 분석 결과, ESMBO는 첫 몇 번의 반복부터 SMBO를 능가하는 성능를 보였으며, 수렴 속도에 악영향을 주지 않았고, 때로는 초기 수렴 속도가 더 빠르기도 했다.
• 멀티레이어 퍼셉트론과 서포트 벡터 리그레션과 같은 가장 도전적인 초파라미터 공간에서는 ESMBO가 SMBO에 비해 각각 76%와 75%의 승리 빈도를 기록했다.
• 다양한 알고리즘과 데이터셋에 걸쳐 뛰어난 강건성을 보였으며, 추론 시에 유의미한 계산 오버헤드가 없었다.