[논문 리뷰] A survey on learning from imbalanced data streams: taxonomy, challenges, empirical study, and reproducible experimental framework

Gabriel Aguiar, Bartosz Krawczyk외 1명|arXiv (Cornell University)|2022. 04. 07.

Data Stream Mining Techniques인용 수 7

한 줄 요약

이 논문은 불균형 데이터 스트림에서 기계학습 알고리즘을 평가하기 위한 표준화되고 재현 가능한 실험 프레임워크를 제안하며, 동적 불균형 비율, 개념 드프트, 데이터 수준의 난이도를 통합한다. 515개의 다양한 스트림 시나리오에서 24개의 최첨단 분류기들을 평가하여, 동적 앙상블 방법(예: ROSE)이 강건성 면에서 다른 방법들을 능가하는 것으로 밝혀졌으며, 다중 클래스 설정에서는 언더샘플링 기법이 어려움을 겪는 것으로 나타났다.

ABSTRACT

Class imbalance poses new challenges when it comes to classifying data streams. Many algorithms recently proposed in the literature tackle this problem using a variety of data-level, algorithm-level, and ensemble approaches. However, there is a lack of standardized and agreed-upon procedures and benchmarks on how to evaluate these algorithms. This work proposes a standardized, exhaustive, and comprehensive experimental framework to evaluate algorithms in a collection of diverse and challenging imbalanced data stream scenarios. The experimental study evaluates 24 state-of-the-art data streams algorithms on 515 imbalanced data streams that combine static and dynamic class imbalance ratios, instance-level difficulties, concept drift, real-world and semi-synthetic datasets in binary and multi-class scenarios. This leads to a large-scale experimental study comparing state-of-the-art classifiers in the data stream mining domain. We discuss the advantages and disadvantages of state-of-the-art classifiers in each of these scenarios and we provide general recommendations to end-users for selecting the best algorithms for imbalanced data streams. Additionally, we formulate open challenges and future directions for this domain. Our experimental framework is fully reproducible and easy to extend with new methods. This way, we propose a standardized approach to conducting experiments in imbalanced data streams that can be used by other researchers to create complete, trustworthy, and fair evaluation of newly proposed methods. Our experimental framework can be downloaded from https://github.com/canoalberto/imbalanced-streams.

연구 동기 및 목표

• 문헌에서 불균형 데이터 스트림 학습을 위한 표준화된 벤치마크와 평가 절차의 부족을 해결하기 위해.
• 불균형 데이터 스트림 시나리오에서 분류기의 종합적 평가를 위한 포괄적이고 확장 가능하며 재현 가능한 실험 프레임워크를 개발하기 위해.
• 다양하고 도전적인 데이터 스트림 조건에서 24개의 최첨단 알고리즘을 대규모로 실증적으로 비교하기 위해.
• 불균형 비율, 개념 드프트, 클래스 분포와 같은 특정 데이터 스트림 특성에 따라 최적의 알고리즘을 선택하는 데 실질적인 권고를 제공하기 위해.
• 커뮤니티가 사용할 수 있는 벤치마킹 템plate를 제공함으로써 향후 데이터 스트림 마이닝 분야의 재현 가능한 연구 기반을 마련하기 위해.

제안 방법

• 정적/동적 불균형, 개념 드프트, 데이터 수준의 난이도를 구성 가능한 조합으로 지원하는 표준화된 실험 프레임워크를 설계하여 이진 및 다중 클래스 불균형 데이터 스트림을 지원한다.
• 실제 세계 데이터셋과 반합성 데이터셋을 통합하여 데이터 스트림 마이닝에서의 현실적인 과제를 반영한다.
• 앙상블, 리샘플링, 알고리즘 적응 기법을 포함한 24개의 최첨단 분류기를 515개의 별도된 스트림 구성에서 구현하고 평가한다.
• 불균형 비율과 드프트 조건의 변화에 따라 성능을 평가하기 위해 F1 점수, G-mean, AUC-PR과 같은 지표를 사용한다.
• 성능 차이의 유의성을 검증하고 발견의 강건성을 확보하기 위해 통계적 검정(예: 프리드먼 검정 및 사후 검정)을 적용한다.
• 전체 프레임워크, 데이터셋, 코드를 GitHub(https://github.com/canoalberto/imbalanced-streams)에 게시하여 커뮤니티의 재사용과 확장 가능성을 보장한다.

실험 결과

연구 질문

• RQ1 데이터 수준, 알고리즘 수준, 앙상블 기반의 알고리즘 가족 중에서 데이터 스트림에서 정적 및 동적 클래스 불균형의 다양한 수준에서 가장 우수한 성능을 보이는 것은 무엇인가?
• RQ2 개념 드프트의 존재가 클래스 불균형과 어떻게 상호작용하여 분류기 성능에 영향을 미치는가?
• RQ3 겹치는 클래스, 희귀 인스턴스, 노이즈와 같은 데이터 수준의 난이도가 불균형 스트림 분류기의 강건성에 어떤 영향을 미치는가?
• RQ4 다중 클래스 시나리오와 이진 클래스 시나리오 간의 알고리즘 효과성과 안정성은 어떻게 비교되는가?
• RQ5 불균형 + 드프트 + 노이즈와 같은 복합 난이도에 걸쳐 일관된 성능을 보이는 분류기는 무엇이며, 그 이유는 무엇인가?

주요 결과

• ROSE와 같은 동적 앙상블 방법은 다양한 복잡한 스트림 시나리오에서 뛰어난 강건성을 보이며, 정적 및 데이터 수준의 접근 방식을 능가했다.
• 언더샘플링 기법은 특히 개념 드프트와 동적 불균형 조건에서 다중 클래스 불균형 데이터 스트림에서 성능 저하가 심각하게 나타났다.
• 온라인 백킹과 리샘플링을 조합한 앙상블(예: SMOTE-OB, OSMOTE)은 높은 안정성과 F1 점수를 기록했으며, 특히 고드프트 환경에서 두드러진 성능을 보였다.
• 고정된 리샘플링 전략에 의존하는 분류기들은 변화하는 불균형 비율에 적응하지 못해 동적 환경에서 성능 붕괴를 겪었다.
• 개념 드프트의 포함은 비적응형 모델의 성능을 심각하게 감소시켰으며, 정적 불균형 조건에서 양호한 성능을 보였더라도 마찬가지였다.
• 제안된 실험 프레임워크는 일관성 있고 재현 가능하며 투명한 평가를 가능하게 했으며, 결과는 명확한 성능 추세와 실무자에게 실질적인 권고를 제시했다.