[논문 리뷰] DivBO: Diversity-aware CASH for Ensemble Learning

Yu Shen, Yu‐peng Lu외 4명|arXiv (Cornell University)|2023. 02. 07.

Machine Learning and Data Classification인용 수 4

한 줄 요약

DivBO는 CASH(COMBINED ALGORITHM SELECTION AND HYPERPARAMETER OPTIMIZATION)를 위한 베이지안 최적화 프레임워크로, 검색 과정에 모델 다양성을 명시적으로 통합한다. 다각도의 대체 모델 예측을 기반으로 한 다양성 서rogate와 가중치가 부여된 할당 함수를 도입함으로써 DivBO는 앙상블 성능을 향상시켰으며, 15개의 데이터셋에서 10개의 기준 대비 평균 순위가 가장 우수한 1.82(검증 시), 1.73(테스트 시)를 기록하였다.

ABSTRACT

The Combined Algorithm Selection and Hyperparameters optimization (CASH) problem is one of the fundamental problems in Automated Machine Learning (AutoML). Motivated by the success of ensemble learning, recent AutoML systems build post-hoc ensembles to output the final predictions instead of using the best single learner. However, while most CASH methods focus on searching for a single learner with the best performance, they neglect the diversity among base learners (i.e., they may suggest similar configurations to previously evaluated ones), which is also a crucial consideration when building an ensemble. To tackle this issue and further enhance the ensemble performance, we propose DivBO, a diversity-aware framework to inject explicit search of diversity into the CASH problems. In the framework, we propose to use a diversity surrogate to predict the pair-wise diversity of two unseen configurations. Furthermore, we introduce a temporary pool and a weighted acquisition function to guide the search of both performance and diversity based on Bayesian optimization. Empirical results on 15 public datasets show that DivBO achieves the best average ranks (1.82 and 1.73) on both validation and test errors among 10 compared methods, including post-hoc designs in recent AutoML systems and state-of-the-art baselines for ensemble learning on CASH problems.

연구 동기 및 목표

• AutoML 시스템이 자주 유사한 설정을 제안하는 CASH 프레임워크 내에서 후행 앙상블 학습의 다양성 부족 문제를 해결한다.
• 하이퍼파라미터 검색 중 예측 성능와 다양성을 명시적으로 균형 잡는 방식으로 앙상블 성능을 향상시킨다.
• 기반 학습기들이 정확하고 다양하도록 보장하는 방법을 개발하여 예측의 중복을 방지한다.
• 미래의 설정 쌍 간의 다양성을 예측할 수 있는 서rogate 모델을 도입하여 정보 기반의 검색 결정을 가능하게 한다.
• 다양성 인식 검색이 개별 모델 성능을 저하시키지 않으면서도 더 효과적인 앙상블을 만들어내는지 입증한다.

제안 방법

• 정규화된 유클리드 거리 기반의 확률적 예측을 사용하여, 두 개의 미관측 기계학습 설정 간의 쌍별 다양성을 예측하는 다양성 서rogate 모델을 제안한다.
• 성능과 다양성 목표를 균형 잡는 가중치가 부여된 할당 함수를 사용하여 다양성 서rogate를 베이지안 최적화 프레임워크에 통합한다.
• 최적화 과정 중 기반 학습기의 일시적 풀을 유지하여 앙상블의 진화를 추적하고 다양성 있고 높은 성능을 보이는 설정으로의 검색을 이끈다.
• 할당 함수 내에서 성능와 다양성 서rogate의 영향력을 동적으로 균형 잡기 위해 포화 효과를 갖는 가중치 메커니즘을 도입한다.
• 관측된 설정과 그들의 쌍별 다양성 데이터를 사용해 점진적으로 다양성 서rogate를 훈련시켜 시간이 지남에 따라 예측 정확도를 향상시킨다.
• 검증 오차를 최소화하고 선택된 모델 간의 다양성을 극대화하는 것을 목표로 하는 CASH 환경 내에서 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 표준 AutoML 방법이 성능만 우선시하는 반면, CASH 내에서 명시적인 다양성 검색이 후행 앙상블의 성능을 향상시킬 수 있는가?
• RQ2 성능 서rogate와 비교해 학습된 다양성 서rogate가 실제 모델 설정 간의 쌍별 다양성을 얼마나 잘 예측할 수 있는가?
• RQ3 베이지안 최적화 할당 함수에 다양성을 통합하면 예측 정확도를 희생시키지 않고도 더 다양하고 효과적인 앙상블을 얻을 수 있는가?
• RQ4 시간이 지남에 따라 제안된 설정의 다양성이 어떻게 변화하는가? 이는 앙상블의 일반화 능력 향상과 관련이 있는가?
• RQ5 다양성 서rogate는 기준 방법보다 더 효과적으로 중복 설정을 피하고 앙상블 다양성을 향상시킬 수 있는가?

주요 결과

• DivBO는 15개의 공개 데이터셋에서 검증 오차 평균 순위 1.82, 테스트 오차 평균 순위 1.73를 기록하여, 최근 AutoML 시스템과 최신 앙상블 기준 방법 10종을 포함한 10개의 비교 방법보다 우수한 성능을 보였다.
• 다양성 서rogate는 성능 서rogate보다 실제 다양성과 더 강한 상관관계를 보였으며, 이는 검색을 안내하는 데 신뢰할 수 있음을 시사한다.
• Quake 데이터셋에서 200회 반복 후 DivBO는 제안된 설정의 최소 다양성 0.23를 달성했으며, BO-ES와 RB-ES(모두 약 0.05)보다 뚜렷이 높아 중복성이 감소했다.
• DivBO의 효과적 풀 업데이트 빈도는 최종 단계에서 평균 50회 반복당 1.5회로, BO-ES(0.6회)와 RB-ES(0.8회)를 초월하여 더 자주이고 의미 있는 앙상블 향상가 가능했다.
• DivBO의 최종 앙상블은 평균 쌍별 예측 불일치도 0.27을 기록했으며, RB-ES(0.13)와 BO-ES(0.09)보다 뚜렷이 높아 기반 학습기 간의 다양성이 더 크다는 것을 확인했다.
• 다양성 강조에도 불구하고 DivBO는 기반 학습기 성능을 유지했으며, 평균 검증 오차 44.33% ± 2.67%를 기록하여 BO-ES(44.03%)와 RB-ES(43.85%)와 유사한 성능 수준을 확보해 개별 모델 품질 저하 없음을 입증했다.