[論文レビュー] Handling Inter-class and Intra-class Imbalance in Class-imbalanced Learning

Zhining Liu, Pengfei Wei+6 more|arXiv (Cornell University)|Nov 24, 2021

Imbalanced Data Classification Techniques参考文献 50被引用数 9

ひとこと要約

本稿では、不均衡学習におけるクラス間およびクラス内不均衡の両方を統合的に扱うためのフレームワークDuBE（Duple-Balanced Ensemble）を提案する。誤差に基づくクラス内バランス調整を明示的にモデル化し、クラス間のリサンプリング／再重み付けと統合することで、多様なデータ複雑性においてモデルのロバスト性と性能が向上し、ベンチマークデータセットにおいて既存手法を上回り、マイノリティクラスのF1スコアで顕著な向上を達成する。

ABSTRACT

Class-imbalance is a common problem in machine learning practice. Typical Imbalanced Learning (IL) methods balance the data via intuitive class-wise resampling or reweighting. However, previous studies suggest that beyond class-imbalance, intrinsic data difficulty factors like overlapping, noise, and small disjuncts also play critical roles. To handle them, many solutions have been proposed (e.g., noise removal, borderline sampling, hard example mining) but are still confined to a specific factor and cannot generalize to broader scenarios, which raises an interesting question: how to handle both class-agnostic difficulties and the class-imbalance in a unified way? To answer this, we consider both class-imbalance and its orthogonal: intra-class imbalance, i.e., the imbalanced distribution over easy and hard samples. Such distribution naturally reflects the complex influence of class-agnostic intrinsic data difficulties thus providing a new unified view for identifying and handling these factors during learning. From this perspective, we discuss the pros and cons of existing IL solutions and further propose new balancing techniques for more robust and efficient IL. Finally, we wrap up all solutions into a generic ensemble IL framework, namely DuBE (Duple-Balanced Ensemble). It features explicit and efficient inter-\&intra-class balancing as well as easy extension with standardized APIs. Extensive experiments validate the effectiveness of DuBE. Code, examples, and documentation are available at https://github.com/AnonAuthorAI/duplebalance and https://duplebalance.readthedocs.io.

研究の動機と目的

• 既存の不均衡学習手法がクラス間不均衡にのみ注目し、クラス内での難易度変動を無視するという限界を是正すること。
• ノイズ、重複、小規模な離散集合といった、直交するデータ複雑性要因を、クラス内不均衡という概念の下で統一的に特定・統合すること。
• クラス間およびクラス内不均衡を明示的にバランスさせる、汎用的かつ拡張可能なアンサンブルフレームワークを構築し、モデルのロバスト性と一般化性能を向上させること。
• 実世界のシナリオにおける、既存のクラス間およびクラス内バランス調整手法の評価と、それらのトレードオフを体系的に行うこと。

提案手法

• クラス内不均衡を、各クラス内における容易なサンプルと困難なサンプルの分布を反映する、データ複雑性の高レベル指標として導入する。
• 二重バランス化メカニズムを提案：明示的なクラス間リサンプリング／再重み付けと、モデル予測の不確実性に基づく誤差駆動型クラス内ハード例マイニング。
• 複数のベース分類器を適応的サンプリングおよび損失再重み付けを組み合わせた、反復的で汎用的なアンサンブルフレームワークとしてDuBEを設計する。
• さまざまなバランス調整戦略の統合を容易にするための標準化APIを採用し、クラス間およびクラス内コンponentのプラグイン可能拡張性を実現する。
• 予測誤差をサンプル難易度の代理指標として用い、トレーニング中に動的にハード例を特定・強調する。
• 誤差に基づく再重み付けを伴う反復トレーニングを適用し、困難なサンプルへのモデルの注目を段階的に強化しつつ、クラスレベルのバランスを維持する。

実験結果

リサーチクエスチョン

• RQ1 ノイズ、重複、小規模な離散集合といった内在的データ難易度要因が、クラス基数の不均衡を超えてモデルバイアスにどのように寄与するか？
• RQ2 クラス内不均衡（各クラス内での容易・困難サンプルの不均一な分布）が、ノイズ、重複、小規模な離散集合といった多様なデータ複雑性要因を統一的に示す指標として機能できるか？
• RQ3 クラス間およびクラス内バランス調整手法が個別に適用される場合、あるいは組み合わせて適用される場合の、既存手法の限界は何か？
• RQ4 クラス間およびクラス内不均衡を明示的にバランスさせる統合フレームワークは、より優れた一般化性能とロバスト性を達成できるか？

主な発見

• DuBEは複数の不均衡ベンチマークデータセットで最先端の性能を達成し、ベースライン手法に比べてマイノリティクラスのF1スコアで顕著な向上を示した。
• 予測誤差分布を用いたクラス内不均衡の測定は、ノイズ、重複、小規模な離散集合といったデータ複雑性要因の総合的影響を効果的に捉えている。
• ハード例マイニングのみではノイズの多いデータセットで性能が低下することが確認され、誤差に配慮した適応的バランス調整戦略の必要性が裏付けられた。
• 標準化されたAPIを介して、さまざまなバランス調整コンponentの容易な拡張とプラグインが可能であり、再現性と使いやすさが向上した。
• 実験結果から、クラス間およびクラス内バランスの併用は、特に複雑なデータ分布を示す実世界シナリオにおいて、より安定的かつ正確なモデルをもたらすことが示された。