[論文レビュー] A survey on learning from imbalanced data streams: taxonomy, challenges, empirical study, and reproducible experimental framework

Gabriel Aguiar, Bartosz Krawczyk+1 more|arXiv (Cornell University)|Apr 7, 2022

Data Stream Mining Techniques被引用数 7

ひとこと要約

本論文は、不均衡なデータストリームにおける機械学習アルゴリズムの評価のための標準的で再現可能な実験フレームワークを提案する。このフレームワークには、動的不均衡比、コンセプトドリフト、データレベルの難易度を統合している。24種類の最先端分類器を515通りの多様なストリームシナリオで評価した結果、ROSEのような動的アンサンブル手法が耐性面で他を上回ることが判明した一方、アンダーサンプリング手法は多クラス設定では劣ることが明らかになった。

ABSTRACT

Class imbalance poses new challenges when it comes to classifying data streams. Many algorithms recently proposed in the literature tackle this problem using a variety of data-level, algorithm-level, and ensemble approaches. However, there is a lack of standardized and agreed-upon procedures and benchmarks on how to evaluate these algorithms. This work proposes a standardized, exhaustive, and comprehensive experimental framework to evaluate algorithms in a collection of diverse and challenging imbalanced data stream scenarios. The experimental study evaluates 24 state-of-the-art data streams algorithms on 515 imbalanced data streams that combine static and dynamic class imbalance ratios, instance-level difficulties, concept drift, real-world and semi-synthetic datasets in binary and multi-class scenarios. This leads to a large-scale experimental study comparing state-of-the-art classifiers in the data stream mining domain. We discuss the advantages and disadvantages of state-of-the-art classifiers in each of these scenarios and we provide general recommendations to end-users for selecting the best algorithms for imbalanced data streams. Additionally, we formulate open challenges and future directions for this domain. Our experimental framework is fully reproducible and easy to extend with new methods. This way, we propose a standardized approach to conducting experiments in imbalanced data streams that can be used by other researchers to create complete, trustworthy, and fair evaluation of newly proposed methods. Our experimental framework can be downloaded from https://github.com/canoalberto/imbalanced-streams.

研究の動機と目的

• 文献において不均衡なデータストリーム学習のための標準的ベンチマークと評価手順の欠如に対処すること。
• 不均衡なデータストリームシナリオにおける分類器の包括的評価のための包括的で拡張可能かつ再現可能な実験フレームワークの開発。
• 多様で挑戦的なデータストリーム状態下で24種類の最先端アルゴリズムを大規模に実証的に比較すること。
• 不均衡比、コンセプトドリフト、クラス分布といった特定のデータストリーム特性に応じて最適なアルゴリズムを選択するための実用的アドバイスを提供すること。
• コミュニティが利用可能なベンチマークテンプレートを提供することで、今後のデータストリームマイニング分野における再現可能研究の基盤を構築すること。

提案手法

• 静的／動的不均衡、コンセプトドリフト、データレベルの難易度の組み合わせを設定可能な、バイナリおよびマルチクラスの不均衡なデータストリームをサポートする標準的実験フレームワークを設計。
• 現実世界のデータセットと準人工データセットを統合し、データストリームマイニングにおける現実的な課題を反映。
• アンサンブル、リサンプリング、アルゴリズム適応手法を含む24種類の最先端分類器を、515通りの異なるストリーム設定で実装および評価。
• 不均衡やドリフトの変動に応じたパフォーマンス評価のため、F1スコア、G-mean、AUC-PRなどの指標を用いる。
• 性能差の妥当性を検証し、発見の耐性を確保するために、統計的検定（例：Friedman検定および後続検定）を適用。
• 全フレームワーク、データセット、コードをGitHub（https://github.com/canoalberto/imbalanced-streams）にホスティングし、コミュニティによる再利用および拡張を可能に。

実験結果

リサーチクエスチョン

• RQ1 静的および動的クラス不均衡の度合いが異なる状況下で、データレベル、アルゴリズムレベル、アンサンブルの各アルゴリズムファミリーは、それぞれどのように性能を発揮するか？
• RQ2 コンセプトドリフトの存在が、クラス不均衡とどのように相互作用し、分類器のパフォーマンスに影響を与えるか？
• RQ3 重複するクラス、レアインスタンス、ノイズといったデータレベルの難易度が、不均衡ストリーム分類器の耐性に与える影響は何か？
• RQ4 マルチクラスシナリオはバイナリシナリオと比較して、アルゴリズムの有効性と安定性においてどのように異なるか？
• RQ5 不均衡＋ドリフト＋ノイズといった複合的な難易度にわたって一貫したパフォーマンスを示す分類器はどれであり、その理由は何か？

主な発見

• ROSEのような動的アンサンブル手法は、多様で複雑なストリームシナリオにおいて優れた耐性を示し、静的およびデータレベルのアプローチを上回った。
• アンダーサンプリング手法は、特にコンセプトドリフトおよび動的不均衡下で、マルチクラスの不均衡なデータストリームにおいて顕著なパフォーマンス低下を示した。
• オンラインバギングとリサンプリングを組み合わせたアンサンブル（例：SMOTE-OB、OSMOTE）は、高ドリフト環境下でも高い安定性とF1スコアを達成した。
• 固定リサンプリング戦略に依存する分類器は、変化する不均衡比に適応できず、動的環境下でパフォーマンスが崩壊した。
• コンセプトドリフトの導入は、非適応型モデルのパフォーマンスを顕著に低下させたが、静的不均衡下では良好な性能を示していた場合でも同様であった。
• 提案された実験フレームワークにより、一貫性があり再現可能で透明な評価が可能となり、明確なパフォーマンストレンドと実務家向けの実用的アドバイスが得られた。