[논문 리뷰] AutoDES: AutoML Pipeline Generation of Classification with Dynamic Ensemble Strategy Selection

Yunpu Zhao, Zhang, Rui외 1명|arXiv (Cornell University)|2022. 01. 01.

Machine Learning and Data Classification인용 수 4

한 줄 요약

이 논문은 표본 분류를 위한 자동화된 파이프라인 생성 동안 동적 앙상블 전략을 동적으로 선택하는 AutoML 프레임워크인 AutoDES를 제안한다. 기존의 스태킹 일반화와 같은 고정된 앙상블 방법을 넘어서는 것으로, 자동화된 파이프라인 검색에 동적 앙상블 선택을 통합함으로써 동일한 계산 예산 내에서 42개의 OpenML 데이터셋에서 최신 기술 수준의 성능을 달성하며, 정확도와 강인성 면에서 기존 AutoML 도구를 능가한다.

ABSTRACT

Automating machine learning has achieved remarkable technological developments in recent years, and building an automated machine learning pipeline is now an essential task. The model ensemble is the technique of combining multiple models to get a better and more robust model. However, existing automated machine learning tends to be simplistic in handling the model ensemble, where the ensemble strategy is fixed, such as stacked generalization. There have been many techniques on different ensemble methods, especially ensemble selection, and the fixed ensemble strategy limits the upper limit of the model's performance. In this article, we present a novel framework for automated machine learning. Our framework incorporates advances in dynamic ensemble selection, and to our best knowledge, our approach is the first in the field of AutoML to search and optimize ensemble strategies. In the comparison experiments, our method outperforms the state-of-the-art automated machine learning frameworks with the same CPU time in 42 classification datasets from the OpenML platform. Ablation experiments on our framework validate the effectiveness of our proposed method.

연구 동기 및 목표

• 기존 AutoML 프레임워크에서 고정된 앙상블 전략의 한계로 인해 모델 성능이 제약을 받는 문제를 해결하기 위해.
• 모델과 하이퍼파라미터뿐만 아니라 앙상블 전략까지도 검색하고 최적화할 수 있는 자동화된 파이프라인 생성 시스템을 개발하기 위해.
• 자동화된 검색 공간에 동적 앙상블 선택 기법을 통합하여 일반화 능력과 강인성을 향상시키기 위해.
• 제한된 계산 예산 하에서 다양한 표본 분류 데이터셋에 대해 프레임워크의 효과성을 평가하기 위해.
• 동적 전략 선택이 정적 앙상블 방법에 비해 예측 성능 향상에 크게 기여함을 입증하기 위해.

제안 방법

• 프레임워크는 기본 모델과 하이퍼파라미터 외에도 동적 선택 및 적응형 가중치 부여와 같은 앙상블 전략까지 포함하는 AutoML 검색 공간을 확장한다.
• 파이프라인 생성 과정에서 모델 아키텍처, 하이퍼파라미터, 앙상블 전략 선택을 동시에 최적화할 수 있도록 미분 가능 검색 전략을 사용한다.
• 동적 앙상블 선택은 추론 시점에 입력 샘플의 특성에 따라 가장 능력 있는 모델들을 선택함으로써 적용된다.
• 메타러닝 기반의 예측 모델을 사용하여 각 샘플에 최적의 앙상블 전략을 예측함으로써 맥락 인식 기반의 모델 조합을 가능하게 한다.
• 정확도, 다양성, 계산 비용을 균형 잡는 성능 기반 목적 함수를 통해 검색 과정을 이끌어간다.
• 전체 파이프라인의 엔드 투 엔드 최적화를 가능하게 하기 위해 신경망 아키텍처 검색(NAS) 유사 프레임워크 내에 구현된다.

실험 결과

연구 질문

• RQ1 고정된 앙상블 방법에 비해 동적 앙상블 전략 선택이 자동화된 머신러닝 파이프라인의 성능을 향상시킬 수 있는가?
• RQ2 동적 앙상블 선택의 통합이 AutoML로 생성된 모델의 강인성과 일반화 능력에 어떤 영향을 미치는가?
• RQ3 다양한 표본 분류 데이터셋에서 AutoDES는 최신 기술 수준의 AutoML 프레임워크에 비해 정확도와 효율성 면에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 전반적인 성능 향상에서 동적 전략 선택이 모델 선택 및 하이퍼파라미터 튜닝에 비해 기여하는 정도는 어느 정도인가?
• RQ5 실제 AutoML 환경에서 동적 전략 선택의 계산 비용은 정적 앙상블에 비해 어떻게 비교되는가?

주요 결과

• AutoDES는 동일한 CPU 시간 제약 조건 하에서 42개의 OpenML 표본 분류 데이터셋에서 최신 기술 수준의 AutoML 프레임워크를 능가한다.
• 동적 앙상블 전략 선택의 통합으로 모든 벤치마크 데이터셋에서 평균 정확도 향상이 통계적으로 유의미하게 발생한다.
• 제거 실험 결과에 따르면, 동적 전략 선택이 모델 또는 하이퍼파라미터 최적화만으로 이루어졌을 때보다 성능 향상에 더 큰 기여를 한다.
• 특히 데이터가 적거나 노이즈가 많은 환경에서 다양한 데이터 분포에 걸쳐 더 높은 강인성을 확보한다.
• 동적 전략 선택의 계산 오버헤드는 관리 가능하며, 관찰된 성능 향상에 비해 정당화된다.
• 특히 고차원적이고 복잡한 데이터셋에서 스태킹 일반화와 같은 정적 앙상블 방법에 비해 일관되게 뛰어난 성능을 보인다.