[論文レビュー] MetaBalance: High-Performance Neural Networks for Class-Imbalanced Data

Arpit Bansal, Micah Goldblum+4 more|arXiv (Cornell University)|Jun 17, 2021

Imbalanced Data Classification Techniques参考文献 34被引用数 4

ひとこと要約

MetaBalanceは、内側と外側の最適化ループで訓練戦略を分離することで、クラスに偏りのあるデータ上で深層ニューラルネットワークを学習するメタラーニングアプローチを提案する。これにより、過学習を防ぎつつマイノリティクラスの一般化性能が著しく向上する。画像分類、不正検出、ローンデフォルト予測、顔認識のタスクにおいて、標準的なリサンプリングやリウェイト法を上回る性能を発揮する。

ABSTRACT

Class-imbalanced data, in which some classes contain far more samples than others, is ubiquitous in real-world applications. Standard techniques for handling class-imbalance usually work by training on a re-weighted loss or on re-balanced data. Unfortunately, training overparameterized neural networks on such objectives causes rapid memorization of minority class data. To avoid this trap, we harness meta-learning, which uses both an ''outer-loop'' and an ''inner-loop'' loss, each of which may be balanced using different strategies. We evaluate our method, MetaBalance, on image classification, credit-card fraud detection, loan default prediction, and facial recognition tasks with severely imbalanced data, and we find that MetaBalance outperforms a wide array of popular re-sampling strategies.

研究の動機と目的

• 高度に偏ったデータセットで学習された深層ニューラルネットワークにおける一般化性能の低さという課題に対処すること。特にマイノリティクラスが無視されたり過学習されたりするのを防ぐこと。
• 過パラメータ化されたモデルでは過学習を防げない標準的なリサンプリングやリウェイト技術の限界を克服すること。
• メタラーニングを活用して、内側ループと外側ループの最適化戦略をバランスさせることで、頑健な表現を学習する訓練フレームワークを開発すること。
• マジョリティクラスの精度を損なわせることなくマイノリティクラスのパフォーマンスを向上させ、より優れた全体的一般化性能を達成すること。
• 画像分類や金融リスク予測を含む、深刻なクラス不均衡を示す多様な実世界の応用分野においてMetaBalanceの有効性を実証すること。

提案手法

• 内側と外側の最適化ループを別々に持つメタラーニングフレームワークを採用し、それぞれで異なるサンプリングおよび損失戦略を適用可能にする。
• 内側ループでは、オーバーサンプリングやデータオーグメンテーションを用いてバランスの取れたデータサブセットでモデルをファインチューニングし、マイノリティクラスのパターンに適応させる。
• 外側ループでは、完全な不均衡なデータセットを用いた標準的で重みなしの損失関数を用いて初期モデルパラメータを最適化し、一般化性能を維持する。
• バイレベル最適化の目的関数を用い、外側ループが1回の内側ループ更新後に得られるバリデーション損失を最小化することで、クラス不均衡に強いパラメータを学習可能にする。
• 内側ループにミックスアップやカットミックスなどのデータオーグメンテーション技術を統合し、明示的なオーバーサンプリングなしで多様なマイノリティクラスのサンプルを生成する。
• ループ間での訓練戦略を分離する：内側では速やかな適応のためのバランスデータ、外側ではメタ最適化のための不均衡データを用いることで、マイノリティサンプルの記憶を防ぐ。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングは、極度に不均衡なデータで学習された深層ニューラルネットワークの一般化性能を向上させるために効果的に活用可能か？
• RQ2 内側と外側の最適化ループでサンプリングおよび損失戦略を分離することで、標準的なリサンプリングやリウェイト法と比較してマイノリティクラスのパフォーマンスが向上するか？
• RQ3 メタバランスは、ナードトレーニング、オーバーサンプリング、アンダーサンプリングと比較して、マジョリティクラスおよびマイノリティクラスの両方の精度においてどのように差をつけるか？
• RQ4 特に過パラメータ化されたモデルにおいて、メタバランスはマイノリティクラスのサンプルへの過学習をどの程度防げるか？
• RQ5 画像分類、不正検出、顔認識など、深刻なクラス不均衡を示す多様な分野に、メタバランスは一般化可能か？

主な発見

• 深刻なクラス不均衡を示すCIFAR-10の変種データセットにおいて、MetaBalanceは全体で29%のテスト精度を達成し、ナードモデル（16.14%）や先行手法を著しく上回った。
• 同じ不均衡なCIFAR-10データセットにおいて、MetaBalanceはマイノリティクラスで平均30%の精度を達成したが、先行の最良手法（事前調整付き）は14.3%にとどまった。
• MetaBalanceで訓練されたモデルは、トレーニング時とテスト時で両方とも60%の精度を維持しており、ナードモデルが示した98.3%の過学習を回避した。
• ナードモデルの閾値をMetaBalanceのマジョリティクラス精度に合わせたとしても、その全体精度（27.03%）はMetaBalanceの29%を下回った。
• MetaBalanceはマイノリティクラスサンプルへの過学習を低減し、標準的な訓練で見られるような決定境界のゴーリング（gerrymandering）を回避した。
• アンダーサンプリング手法はマジョリティクラスで顕著なデータ損失を引き起こし性能が著しく低下するが、MetaBalanceはマジョリティクラスおよびマイノリティクラスの両方で優れた性能を維持し、全体の精度が優れている。