[論文レビュー] Rethinking Class Imbalance in Machine Learning

Ou Wu|arXiv (Cornell University)|May 6, 2023

Imbalanced Data Classification Techniques被引用数 4

ひとこと要約

本論文は機械学習におけるクラス不均衡の新しい分類法を提案し、従来の割合不均衡に加えて、分散不均衡、距離不均衡、近傍不均衡、品質不均衡の4つの新しいタイプを同定する。比例不均衡、分散不均衡、距離不均衡を同時に処理するメタ学習されたロジット摂動損失であるMetaLDAを導入し、公平性と一般化性能を顕著に向上させ、CIFAR100やCIFAR100-LTといったベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

Imbalance learning is a subfield of machine learning that focuses on learning tasks in the presence of class imbalance. Nearly all existing studies refer to class imbalance as a proportion imbalance, where the proportion of training samples in each class is not balanced. The ignorance of the proportion imbalance will result in unfairness between/among classes and poor generalization capability. Previous literature has presented numerous methods for either theoretical/empirical analysis or new methods for imbalance learning. This study presents a new taxonomy of class imbalance in machine learning with a broader scope. Four other types of imbalance, namely, variance, distance, neighborhood, and quality imbalances between/among classes, which may exist in machine learning tasks, are summarized. Two different levels of imbalance including global and local are also presented. Theoretical analysis is used to illustrate the significant impact of the new imbalance types on learning fairness. Moreover, our taxonomy and theoretical conclusions are used to analyze the shortcomings of several classical methods. As an example, we propose a new logit perturbation-based imbalance learning loss when proportion, variance, and distance imbalances exist simultaneously. Several classical losses become the special case of our proposed method. Meta learning is utilized to infer the hyper-parameters related to the three types of imbalance. Experimental results on several benchmark corpora validate the effectiveness of the proposed method.

研究の動機と目的

• 比例不均衡を超えた不均衡学習の範囲を拡大し、分散不均衡、距離不均衡、近傍不均衡、品質不均衡の4つの新しいタイプのクラス不均衡を同定・形式化すること。
• 比例不均衡が存在しない状況でも、分散不均衡と距離不均衡がモデルの公平性および一般化性能に与える理論的影響を分析すること。
• 複数の不均衡タイプを同時に是正する統一された学習手法を開発し、長尾学習シナリオにおける公平性と性能を向上させること。
• ベンチマークデータセットを用いた広範な実験を通じて、提案手法の有効性を検証し、古典的手法を上回ることを示すこと。

提案手法

• クラス不均衡の新しい分類法を提案し、分散不均衡（クラス間での特徴量の分散の差異）、距離不均衡（クラス間距離の差異）、近傍不均衡（局所的近傍構造の差異）、品質不均衡（サンプルの品質または難易度の差異）の4つの新しいタイプを導入する。
• グローバル不均衡（全体のクラス分布）とローカル不均衡（クラス内または局所領域内の不均衡）の二段階的視点を導入する。
• 比例ベースの項（log(π_y / π_c)）、分散補正項（△w_y^T Σ_y △w_y / ||△w_y||²）、距離補正項（log(Δ̄ / Δ_yc)）を含む3項からなるMetaLDAを構築する。
• メタ学習を用いて、3つの不均衡タイプのハイパーパrameterを自動的に推定し、トレーニング中に適応的最適化を可能にする。
• 理論的分析を通じて、比例不均衡が存在しない状況でも、分散不均衡と距離不均衡が顕著な不平等を引き起こす可能性があることを示す。
• CIFAR100およびCIFAR100-LTを用いて手法を検証し、損失関数の各成分が性能向上に寄与していることが示され、MetaLDAはベースラインおよび古典的手法を上回る。

Figure 1: The proposed new taxonomy for class imbalance. Existing studies merely deal with proportion imbalance.

実験結果

リサーチクエスチョン

• RQ1 比例がバランスしている状況でも、分散不均衡と距離不均衡が独立して不平等や一般化性能の低下を引き起こす可能性があるか？
• RQ2 比例不均衡、分散不均衡、距離不均衡といった複数の不均衡タイプがどのように相互作用し、モデル性能に共同で影響を与えるか？
• RQ3 比例不均衡、分散不均衡、距離不均衡を同時に是正できる統一された損失関数を設計できるか？
• RQ4 複数の不均衡タイプが同時に存在する状況で、既存の古典的手法がなぜ失敗するのか、その理由は何か？
• RQ5 メタ学習を用いることで、データ駆動的に異なる不均衡タイプの最適なハイパーパrameterを効果的に推定できるか？

主な発見

• 理論的分析により、比例不均衡が存在しない状況でも、分散不均衡と距離不均衡が比例不均衡と同等の不平等を引き起こす可能性があることが確認された。
• CIFAR100-LT（100:1）において、MetaLDAはTop-1誤差51.55% ± 0.30%を達成し、ベースライン（61.23%）および他のアブレーションバージョンを上回った。
• CIFAR100において、MetaLDAはTop-1誤差16.49% ± 0.17%を達成し、ベースライン（18.53%）およびすべてのアブレーション成分を上回った。
• アブレーションスタディの結果、MetaLDAの各項（比例、分散、距離）が性能向上に独立して寄与しており、完全な手法が最良の結果をもたらした。
• 正規化ISDA（NISDA）は分散項を分離したバージョンであり、6つのデータセットで標準ISDAを上回り、分散不均衡補正の重要性を裏付けた。
• 摂動項の可視化により、トレーニングエポックを経るごとに分散不均衡と距離不均衡が顕著に低減していることが確認され、本手法の有効性が裏付けられた。

Figure 2: Illustrative examples for the four types of imbalance. In (a), the two classes have different proportions of samples; in (b), the two classes have different co-variance matrices; in (c), the middle class has the smallest average inter-class distance; in (d), the two classes have different