[論文レビュー] Imbalanced Deep Learning by Minority Class Incremental Rectification

Qi Dong, Shaogang Gong+1 more|arXiv (Cornell University)|Apr 28, 2018

Imbalanced Data Classification Techniques参考文献 57被引用数 4

ひとこと要約

本論文は、極端なクラス不均衡下での深層学習のための新しいクラス補正損失（CRL）を提案する。CRLは、マイノリティクラスのハードサンプルをバッチ単位で段階的に抽出することで、モデルのバイアスを是正する。CRLは、極めて不均衡なX-Domainデータセットにおいて5%の性能向上を達成し、最先端手法よりも7倍以上高速に学習を実行しながら、エンドツーエンド学習における収束安定性を維持する。

ABSTRACT

Model learning from class imbalanced training data is a long-standing and significant challenge for machine learning. In particular, existing deep learning methods consider mostly either class balanced data or moderately imbalanced data in model training, and ignore the challenge of learning from significantly imbalanced training data. To address this problem, we formulate a class imbalanced deep learning model based on batch-wise incremental minority (sparsely sampled) class rectification by hard sample mining in majority (frequently sampled) classes during model training. This model is designed to minimise the dominant effect of majority classes by discovering sparsely sampled boundaries of minority classes in an iterative batch-wise learning process. To that end, we introduce a Class Rectification Loss (CRL) function that can be deployed readily in deep network architectures. Extensive experimental evaluations are conducted on three imbalanced person attribute benchmark datasets (CelebA, X-Domain, DeepFashion) and one balanced object category benchmark dataset (CIFAR-100). These experimental results demonstrate the performance advantages and model scalability of the proposed batch-wise incremental minority class rectification model over the existing state-of-the-art models for addressing the problem of imbalanced data learning.

研究の動機と目的

• パワーロー法に従うクラス分布を示す人物属性認識などの極めて不均衡な視覚データセットにおける深層ニューラルネットワークの学習課題に対処すること。
• 大規模かつ深刻なクラス不均衡データにおいて、マイノリティクラスの一般化性能が著しく劣るために失敗する既存手法の限界を克服すること。
• 確率的勾配降下法の収束性を保ちながら、バイアスを主なクラスに向けた修正を可能にするスケーラブルでエンドツーエンドの深層学習フレームワークを構築すること。
• 微細な外観差異と極端な不均衡比（例：1:4,162）を示すマルチラベルで細分化された視覚的属性からの有効な学習を可能にすること。
• データ再サンプリングや複雑なコストセンシティブ重み付けを必要とせず、トレーニング中に動的にハードで希少にサンプリングされたマイノリティクラスの境界を特定・是正する損失関数の設計

提案手法

• 本研究は、各トレーニングバッチにおいてマイノリティクラスからハードで希少にサンプリングされたサンプルに注目することで、モデル学習を正則化するクラス補正損失（CRL）を提案する。
• バッチ単位の段階的是正を適用：各ミニバッチにおいて、動的ハードマイニング戦略を用いてモデルがマイノリティクラスのハードネガティブサンプルを特定・優先順位付けする。
• マルチクラス設定におけるマイノリティクラスの定義に、クラス頻度（ρ = 50%）に基づく基準を導入し、二値からマルチクラスへの一般化を実現する。
• CRLを用いた特徴量と分類器の共同学習により、エンドツーエンド最適化を可能にするとともに、収束安定性を維持する。
• 各バッチで選択する上位ハードサンプル数を制御するハイパーパrameter κ を使用。κ = 25 が、性能と学習コストのバランスを最適化する上で最も適切であると判明。
• CRLはプラグアンドプレイであり、標準的な深層ネットワークアーキテクチャと互換性があり、不均衡・バランスの取れた両方のデータセットに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 データ再サンプリングやコストセンシティブ重み付けを一切行わずに、極めて不均衡な視覚データセットにおける主なクラスへのバイアスを効果的に是正できるか？
• RQ2 マイノリティクラスにおける段階的でバッチ単位のハードサンプルマイニングは、グローバルまたは静的サンプリング戦略と比較して、モデルの一般化性能をどのように向上させるか？
• RQ3 CRL正則化の最適な範囲は、マイノリティクラスのみか、すべてのクラスか。性能と学習コストのトレードオフはどのように変化するか？
• RQ4 マルチクラス不均衡設定におけるマイノリティクラス閾値ρの選択が、性能にどのように影響するか？
• RQ5 提案手法CRLは、不均衡およびバランスの取れたベンチマークにおいて、最先端手法と比較して優れた性能と学習効率を達成できるか？

主な発見

• X-Domain衣類属性データセットでは、ベースラインMTCT（73.53%）と比較してCRLが5.0%の精度向上（81.30%平均精度）を達成し、最良の代替手法であるLMLEを顕著に上回る。
• CelebA顔属性ベンチマークでは、CRLがLMLEを平均精度3.0%上回り、中程度の不均衡データでも強力な性能を示す。
• CRLはLMLEと比較して7倍以上高速に学習が可能で、X-Domainでは77.6時間のトレーニング時間（LMLEは570時間以上）を記録した。これは、効率的なバッチ単位のハードマイニングによるものである。
• κ = 25 が最適な性能をもたらす。κ = 1（最もハードなマイニング）では、ノイズが多く過度に希少な境界のため、不安定性が生じる。
• すべてのクラスにCRLを適用すると、ベースラインから7.78%の精度向上が得られるが、マイノリティクラスのみに限定した場合の相対的改善率は12.9%にとどまる。これは、マイノリティクラスに特化することで、より高いコスト効率が得られることを示している。
• マイノリティクラス基準ρ = 50%が、二値クラス定義との概念的一致性と性能の両面で最良のバランスを提供し、ρ = 10% や ρ = 30% よりも優れている。