[論文レビュー] Deep Over-sampling Framework for Classifying Imbalanced Data

Shin Ando, Chun Huang|arXiv (Cornell University)|Apr 25, 2017

Imbalanced Data Classification Techniques参考文献 27被引用数 22

ひとこと要約

本稿では、畳み込みニューラルネットワーク（CNN）の特徴空間において合成埋め込みを生成することで、不均衡データにおける深層表現学習と分類を向上させる、新たなフレームワークであるDeep Over-sampling（DOS）を提案する。クラス内近傍から得られる合成ターゲットを繰り返し用いてネットワークを訓練することで、クラス内分散を低減し、少数クラスおよび多数クラスの両方の性能を向上させる。本手法は不均衡および平衡データの両方のベンチマークで一貫した性能向上を示す。

ABSTRACT

Class imbalance is a challenging issue in practical classification problems for deep learning models as well as traditional models. Traditionally successful countermeasures such as synthetic over-sampling have had limited success with complex, structured data handled by deep learning models. In this paper, we propose Deep Over-sampling (DOS), a framework for extending the synthetic over-sampling method to exploit the deep feature space acquired by a convolutional neural network (CNN). Its key feature is an explicit, supervised representation learning, for which the training data presents each raw input sample with a synthetic embedding target in the deep feature space, which is sampled from the linear subspace of in-class neighbors. We implement an iterative process of training the CNN and updating the targets, which induces smaller in-class variance among the embeddings, to increase the discriminative power of the deep representation. We present an empirical study using public benchmarks, which shows that the DOS framework not only counteracts class imbalance better than the existing method, but also improves the performance of the CNN in the standard, balanced settings.

研究の動機と目的

• 画像のような複雑で構造的なデータにおけるクラス不均衡の課題に対処すること。
• 非線形表現のため、従来のオーバーサンプリング手法が深層特徴空間で機能しないという限界を克服すること。
• アーキテクチャの変更なしに、分類器の性能と深層表現の質の両方を向上させること。
• 標準的なデータ拡張を超えて、深層特徴空間における合成教師信号が判別力の向上に寄与するかどうかを検証すること。
• さまざまな不均衡度と平衡状態の下で、複数の公開ベンチマークを用いてフレームワークの有効性を検証すること。

提案手法

• 分類ラベルに対する標準的なクロスエントロピー損失に加え、特徴空間内の合成ターゲットへの回帰を促す新たな損失関数を用いてCNNを訓練する。
• 各入力サンプルの深層特徴空間におけるk番目の近隣の線形部分空間からサンプリングすることで、合成ターゲットを生成する。
• 反復的訓練プロセスを採用：まず本物のデータでCNNを訓練し、その後現在の埋め込みを用いて合成ターゲットを更新し、更新されたターゲットでネットワークを再訓練する。
• 埋め込みがクラス平均の周囲により密にクラスタリングするよう、明示的に表現学習を監視することで、クラス内分散を低減する。
• 構造的変更なしに標準的なCNNアーキテクチャを維持し、表現学習と分類のための二重出力監視機構のみを追加する。
• k（線形部分空間の定義に用いる近隣数）を調整することで、合成サンプルのインダクティブバイアスを制御する。

実験結果

リサーチクエスチョン

• RQ1 標準的な深層学習および既存のオーバーサンプリング手法と比較して、深層特徴空間における合成オーバーサンプリングは、不均衡な画像データセットにおける分類性能を向上させることができるか？
• RQ2 提案されたフレームワークは、分類器の精度向上を超えて、学習された深層表現の判別力を向上させるか？
• RQ3 合成ターゲット生成のためのk近傍選択におけるkの選択に、フレームワークの性能がどれほど敏感か？
• RQ4 DOSの利点は、平衡データ設定でも観察可能か？ これは、一般化性能および表現学習の向上を示唆するか？
• RQ5 合成ターゲットとネットワーク重みの反復的最適化により、より頑健でクラス判別性の高い特徴埋め込みが得られるか？

主な発見

• DOSは、不均衡ベンチマークにおいて、標準CNNおよびクラスバランスを考慮したCNN（CNN-CL）を著しく上回り、特に少数クラスのF1およびAUCにおいて顕著な向上を示す。
• 90%の不均衡度を有するMNIST-bak-rotデータセットでは、DOS（k=5）が少数クラスでF1=0.82、AUC=0.84を達成したのに対し、CNN-CLはF1=0.42、AUC=0.78にとどまった。
• 90%の不均衡度を有するSVHNでは、DOS（k=5）が少数クラスでF1=0.64、AUC=0.80を達成し、CNN-CLのF1=0.37、AUC=0.61を上回った。
• 平衡状態（SVHN、CIFAR-10、STL-10）でも、DOSは標準CNNよりF1スコアを0.01〜0.03向上させ、すべてのデータセットおよびk値で一貫した向上を示した。
• kの選択に対して非常に感受性が低く、k=3、5、10の間での性能差は僅かであったため、ハイパーパrameter選択に対して頑健であることが示された。
• 標準CNNと比較して実行時間は11〜32%増加したが、特にSVHNで最大のオーバーヘッドを示し、顕著な性能向上に対しては中程度の計算コストであった。