[論文レビュー] Simplifying Neural Network Training Under Class Imbalance

Ravid Shwartz-Ziv, Micah Goldblum+3 more|arXiv (Cornell University)|Dec 5, 2023

Imbalanced Data Classification Techniques被引用数 8

ひとこと要約

パーパーは、標準的なニューラルネットワーク訓練コンポーネント（バッチサイズ、データ拡張、最適化手法、ラベルスムージング）を丁寧に調整し、軽量な最適化技法（Joint-SSL、SAM-A、適切なラベルスムージング）を組み合わせることで、特化された不均衡データ処理なしで、不均衡データに対して最先端の性能を達成することを示している。

ABSTRACT

Real-world datasets are often highly class-imbalanced, which can adversely impact the performance of deep learning models. The majority of research on training neural networks under class imbalance has focused on specialized loss functions, sampling techniques, or two-stage training procedures. Notably, we demonstrate that simply tuning existing components of standard deep learning pipelines, such as the batch size, data augmentation, optimizer, and label smoothing, can achieve state-of-the-art performance without any such specialized class imbalance methods. We also provide key prescriptions and considerations for training under class imbalance, and an understanding of why imbalance methods succeed or fail.

研究の動機と目的

• 実世界データセットにおける少数クラスが性能不足になるというクラス不均衡の研究動機を喚起する。
• 適切に調整された標準訓練コンポーネントが、特化した不均衡手法と対等またはそれ以上の性能を発揮し得ることを実証する。
• 視覚領域と表形式領域の丗、クラス不均衡下での訓練に対する実践的な指針を提供する。

提案手法

• 不均衡設定で訓練の基本ブロック（バッチサイズ、データ拡張、事前訓練、モデルアーキテクチャ、最適化手法）を系統的に調整する。
• 不均衡へ適応した最適化技法を導入：Joint-SSL（訓練中の自己教師付き損失）、Minorityクラスのマージンを拡げるためのAsymmetric-SAM（SAM-A）、ターゲットを絞ったラベルスムージング。
• 正則化と過学習の役割、ニューラル崩壊を分析して、調整されたルーチンが成功する理由を説明する。
• 調整後のルーチンを視覚ベンチマーク（画像データセットとアーキテクチャ）および表形式データセットに適用し、一般化可能性を評価する。
• 不均衡特化手法の比較を幅広く行い、調整済みルーチンと組み合わせた場合に最先端性能を確立する。

実験結果

リサーチクエスチョン

• RQ1 視覚領域と表形式領域におけるクラス不均衡の下で、標準訓練コンポーネントがモデル性能に与える影響はどうなるか。
• RQ2 SSL、SAM、ラベルスムージングの軽量な適用は、不均衡環境で少数クラスの性能を改善しうるか。
• RQ3 調整済みルーチンが特化型不均衡手法を上回るメカニズム（正則化、マージン変更など）は何か。
• RQ4 画像分類を超える diverseなデータセット・アーキテクチャにも調整済みルーチンは一般化するか。
• RQ5 実世界の不均衡データセットは、ウェブ収集ベンチマークと比べてこれらの手法にどのように反応するか。

主な発見

• バッチサイズは極端に不均衡な設定でより大きな影響を持ち、少数クラスの精度改善に小さなバッチが有利な場合が多い。
• 不均衡下ではデータ拡張の効果が強化され、特に少数クラスに対して影響が大きく、方針の選択は不均衡レベルによって異なる。
• 大きめのアーキテクチャは強い不均衡下で少数クラスへの過学習を引き起こす可能性がある一方、中位の規模のアーキテクチャが最良となることがある。
• 訓練中に自己教師付き損失を組み込む（Joint-SSL）は表現学習と一般化を改善する。
• 少数クラスの損失項を強調するよう調整したSharpness-Aware Minimization（SAM-A）は少数クラスの精度を改善する。
• ラベルスムージングは、特に少数クラスに対してより強く適用されると、少数サンプルの過学習を防ぐのに役立つ。
• 事前訓練、特に大規模な上流データセットでの自己教師付き事前訓練は、下流の強い不均衡下でより大きな利得をもたらす。
• Joint-SSL、SAM-A、適切に調整したラベルスムージングをM2mに組み合わせることで、複数の視覚ベンチマークと実世界データセットで新たな最先端を確立する。
• 調整済み訓練ルーチンは表形式データセットでもベースラインを上回り、画像分類を超えた適用性を示す。
• 正則化は少数サンプルへの過学習を防ぐ鍵であり、ニューラル崩壊は素朴な訓練でより顕著であり、提案手法で緩和される。