[논문 리뷰] MESA: Boost Ensemble Imbalanced Learning with MEta-SAmpler

Zhining Liu, Pengfei Wei외 4명|arXiv (Cornell University)|2020. 10. 17.

Imbalanced Data Classification Techniques참고 문헌 42인용 수 27

한 줄 요약

Mesa는 강화학습으로 훈련된 메타샘플러를 사용하여 반복 훈련 라운드 동안 훈련 샘플을 적응적으로 선택하는 일반적인 앙상블 불균형 학습 프레임워크를 제안한다. 이는 히우리스틱 가정에 의존하지 않고 최종 모델 성능을 최적화하기 위한 것이다. 높은 샘플 효율성과 이식 가능성을 확보하여, 최소한의 재훈련으로 사전 훈련된 메타샘플러를 새로운 작업에 직접 적용할 수 있다.

ABSTRACT

Imbalanced learning (IL), i.e., learning unbiased models from class-imbalanced data, is a challenging problem. Typical IL methods including resampling and reweighting were designed based on some heuristic assumptions. They often suffer from unstable performance, poor applicability, and high computational cost in complex tasks where their assumptions do not hold. In this paper, we introduce a novel ensemble IL framework named MESA. It adaptively resamples the training set in iterations to get multiple classifiers and forms a cascade ensemble model. MESA directly learns the sampling strategy from data to optimize the final metric beyond following random heuristics. Moreover, unlike prevailing meta-learning-based IL solutions, we decouple the model-training and meta-training in MESA by independently train the meta-sampler over task-agnostic meta-data. This makes MESA generally applicable to most of the existing learning models and the meta-sampler can be efficiently applied to new tasks. Extensive experiments on both synthetic and real-world tasks demonstrate the effectiveness, robustness, and transferability of MESA. Our code is available at https://github.com/ZhiningLiu1998/mesa.

연구 동기 및 목표

• 히우리스틱 가정에 의존하는 전통적인 불균형 학습 방법이 가지는 불안정성, 낮은 적용 가능성, 높은 계산 비용 문제를 해결한다.
• 특정 모델(예: DNN)과 함께 공동 최적화되는 기존 메타학습 기반 IL 솔루션의 한계를 극복하여 일반화 능력을 향상시킨다.
• 메타학습과 모델 훈련을 분리하여 확장성과 이식 가능성을 높이는 일반적이고 모델에 종속되지 않는 프레임워크를 개발한다.
• 작업 간 전이 가능성과 작업에 종속되지 않는 메타데이터를 활용해 새로운 작업에 대한 메타샘플러의 효율적 배포를 가능하게 한다.
• 오차 또는 밀도 히우리스틱에 의존하지 않고 강화학습을 통해 최종 모델 성능을 직접 최적화하는 샘플링 전략을 설계한다.

제안 방법

• 메타샘플러가 현재 모델 성능(훈련/검증 세트에서의 오차 분포)에 기반해 반복 라운드마다 동적으로 훈련 샘플을 선택하는 캐스케이드 앙상블 프레임워크를 도입한다.
• 샘플링 결정을 순차적 행동으로 간주하고, 최종 일반화 성능을 최대화하도록 강화학습을 통해 메타샘플러를 훈련시킨다.
• 메타학습과 모델 훈련을 분리하기 위해 메타샘플러를 작업에 종속되지 않는 메타데이터로 사전 훈련하여 다양한 학습 모델 간 재사용을 가능하게 한다.
• 최종 평가 지표(예: F1-score, AUC)를 반영하는 보상 함수를 사용하여 강화학습에서 내림표지의 성능을 직접 최적화한다.
• 메타샘플러를 모델에 종속되지 않게 설계하여 다양한 기초 학습기(예: 결정 트리, k-NN, 나이브 베이즈)와 통합 가능하도록 한다.
• 메타학습 중에 작업 간 메타정보를 활용하여 전이 가능성을 확보한다: 사전 훈련된 메타샘플러는 최소한의 적응만으로 새로운, 알려지지 않은 작업에 적용할 수 있다.

실험 결과

연구 질문

• RQ1 다양하고 작업에 종속되지 않는 데이터로 훈련된 메타샘플러는 새로운, 알려지지 않은 불균형 학습 작업으로 일반화되는 데 효과적인가?
• RQ2 강화학습을 통해 샘플링 전략을 학습하면 히우리스틱 기반 재샘플링 방법보다 더 나은 일반화 성능을 달성하는가?
• RQ3 메타학습과 모델 훈련을 분리함으로써 프레임워크의 다양한 기계학습 모델에 대한 적용 가능성은 어느 정도 향상되는가?
• RQ4 Mesa의 성능는 다양한 실제 및 시뮬레이션 데이터셋에서 최신의 앙상블 및 메타학습 기반 불균형 학습 방법과 비교해 어떻게 되는가?
• RQ5 메타샘플러의 전이 가능성은 새로운 작업에서 메타학습 비용을 어느 정도 줄이는가?

주요 결과

• Mesa는 다수의 실제 및 시뮬레이션 데이터셋에서 최신 기술 수준의 성능를 달성하며, F1-score 및 AUC 지표에서 베이스라인 방법을 모두 초월한다.
• 모든 설정에서 Mammography 데이터셋에서 Mesa는 0.874 ± 0.008 AUC를 기록하여 베이스라인(0.840 ± 0.009)을 뚜렷이 앞서며 뛰어난 성능를 보였다.
• 작은 작업(예: Optical Digits)에서 훈련된 메타샘플러는 더 큰, 더 복잡한 작업(예: Protein Homo, Mammography)으로 일반화되며, 원래 메타학습 데이터의 10%만 사용해도 성능가 0.10%에서 0.34% 감소에 그친다.
• 전이 가능성은 뛰어나다: 한 작업에서 사전 훈련된 메타샘플러는 새로운 작업에서도 높은 성능를 유지하며, 일부 경우에서 메타학습 비용을 최대 90%까지 줄일 수 있다.
• 이 프레임워크는 높은 샘플 효율성을 보이며, 메타학습 데이터를 원래 크기의 10%로 줄여도 성능가 안정적이다.
• 제거 분석 결과, 메타샘플러의 적응적 샘플링 전략은 무작위 또는 히우리스틱 기반 샘플링보다 더 나은 일반화 성능를 보이며, 특히 극도로 불균형하거나 노이즈가 많은 환경에서 뚜렷한 이점을 보였다.