[論文レビュー] ReMix: Calibrated Resampling for Class Imbalance in Deep learning

Colin Bellinger, Roberto Corizzo+1 more|arXiv (Cornell University)|Dec 3, 2020

Imbalanced Data Classification Techniques参考文献 31被引用数 9

ひとこと要約

ReMix は、バッチリサンプリング、特徴量の凸結合による混合、およびソフトラベル付与を組み合わせることで、データに偏りがある場合の深層学習におけるバイアス低減とキャリブレーション向上を実現する、データ効率的でキャリブレーションに配慮した訓練手法である。ReMix は、表形式データ、画像、多クラスデータのあらゆる分野において、SMOTE や MixUp、コスト調整手法を凌駕し、予測性能（g-mean）とキャリブレーション（バランスBrierスコア）の両面で優れた結果を示している。

ABSTRACT

Class imbalance is a problem of significant importance in applied deep learning where trained models are exploited for decision support and automated decisions in critical areas such as health and medicine, transportation, and finance. The challenge of learning deep models from imbalanced training data remains high, and the state-of-the-art solutions are typically data dependent and primarily focused on image data. Real-world imbalanced classification problems, however, are much more diverse thus necessitating a general solution that can be applied to tabular, image and text data. In this paper, we propose ReMix, a training technique that leverages batch resampling, instance mixing and soft-labels to enable the induction of robust deep models for imbalanced learning. Our results show that dense nets and CNNs trained with ReMix generally outperform the alternatives according to the g-mean and are better calibrated according to the balanced Brier score.

研究の動機と目的

• 表形式、画像、テキストを含む多様なデータタイプにおける深層学習におけるクラス不均衡問題に対して、一般化可能でキャリブレーションに配慮した解決策が不足しているという点を解決すること。
• 分布収縮、計算コストの高さ、キャリブレーションの悪化といった問題を抱える SMOTE や GAN を用いたオーバーサンプリング手法の限界を克服すること。
• 多数クラスへの予測バイアスを低減させるとともに、少数クラスのキャリブレーションを向上させることで、モデルの頑健性と公平性を高めること。
• ドメイン特化のデータ拡張が不要な状況においても、計算効率が高く、実装が容易で、複数の分野に効果的に適用可能な手法を開発すること。
• 医療、金融、輸送分野など、高リスクな応用分野における安全な深層学習の導入を可能にするために、信頼性と意思決定の一貫性を向上させること。

提案手法

• ReMix は、実データポイントの周辺分布 ν(⋅) からサンプリングすることでミニバッチを構築し、各バッチ内で近似的なクラスバランスを確保する。
• 実サンプルの特徴量を凸結合（MixUp 形式）で混合し、特徴空間上でそれらの間の合成データポイントを生成する。
• ソフトラベルは元のクラスラベルの重み付き平均として割り当てられ、滑らかな意思決定境界と向上したキャリブレーションを促進する。
• 混合パラメータ α は補間の強度を制御する。実験的に、性能とキャリブレーションの両立を図るため α = 0.3 が最適であると判明した。
• リサンプリングはミニバッチごとに行われ、全データセットの事前処理を回避し、繰り返しサンプリングによる過学習リスクを低減する。
• 標準的な深層学習フレームワークと互換性があり、計算オーバーヘッドは最小限に抑えられる。

実験結果

リサーチクエスチョン

• RQ1 シンプルで汎用的な訓練手法が、多様なデータタイプにおける不均衡な深層学習の予測性能とキャリブレーションの両方を向上させることができるか？
• RQ2 ReMix は、表形式および画像データセットにおいて、SMOTE や MixUp と比較して g-mean およびバランスBrierスコアの点でどのように異なるか？
• RQ3 混合ハイパーパrameter α が、不均衡な状況下でのモデル性能とキャリブレーションに与える影響は何か？
• RQ4 異なるクラス間で不適切な補間を引き起こさずに、多クラス問題に対しても ReMix は効果的に機能するか？
• RQ5 ドメイン特化のデータ拡張が利用できない、または費用がかかりすぎる状況でも、ReMix は依然として有効性を保つのか？

主な発見

• ReMix は、Musk 2、Epileptic Seizure、CIFAR-10 を含むすべての評価対象データセットにおいて、SMOTE や MixUp を上回る g-mean を達成した。
• バランスBrierスコア（BBS）によるキャリブレーション評価では、特に α = 0.3 のような高い α 値で顕著な改善が見られ、予測の不確実性が低減された。
• 感度分析の結果、α = 0.3 が g-mean の安定性と BBS の改善の最適なトレードオフを達成しており、全データセットで性能の低下が最小限に抑えられた。
• Epileptic Seizure データセットでは、α = 0.3 の ReMix が極度のクラス不均衡（IR > 100:1）下でも g-mean の顕著な向上を達成した。
• 多クラス設定では、ノイズの混入した補間の影響で性能がわずかに低下する傾向が見られたが、α を低くすることで元のサンプルを優先することでこれを緩和できる。
• 画像分類の結果では、データ拡張を組み合わせた ReMix (Aug) が最も優れた性能を示し、ドメイン特化の拡張を統合することでさらなる性能向上が可能であることが示唆された。