[論文レビュー] Identifying and Compensating for Feature Deviation in Imbalanced Deep Learning

Han-Jia Ye, Hong-You Chen+2 more|arXiv (Cornell University)|Jan 6, 2020

Imbalanced Data Classification Techniques参考文献 62被引用数 55

ひとこと要約

この論文は、不均衡な深層学習における小クラスへの過適合を引き起こす特徴逸脱現象を特定し、訓練時の補償としてクラス依存温度 (CDT) を提案し、ベンチマークで小クラスの性能を改善する。

ABSTRACT

Classifiers trained with class-imbalanced data are known to perform poorly on test data of the "minor" classes, of which we have insufficient training data. In this paper, we investigate learning a ConvNet classifier under such a scenario. We found that a ConvNet significantly over-fits the minor classes, which is quite opposite to traditional machine learning algorithms that often under-fit minor classes. We conducted a series of analysis and discovered the feature deviation phenomenon -- the learned ConvNet generates deviated features between the training and test data of minor classes -- which explains how over-fitting happens. To compensate for the effect of feature deviation which pushes test data toward low decision value regions, we propose to incorporate class-dependent temperatures (CDT) in training a ConvNet. CDT simulates feature deviation in the training phase, forcing the ConvNet to enlarge the decision values for minor-class data so that it can overcome real feature deviation in the test phase. We validate our approach on benchmark datasets and achieve promising performance. We hope that our insights can inspire new ways of thinking in resolving class-imbalanced deep learning.

研究の動機と目的

• ConvNets が長尾分布の下で小クラスに過学習する原因を理解する。
• 小クラスのトレーニングデータとテストデータ間の特徴逸脱を特徴づける。
• ConvNets の不均衡学習に対処する際の再重み付けと再サンプリングの限界を評価する。
• 特徴逸脱を減じることなく補償する訓練戦略（CDT）を提案・検証する。

提案手法

• 不均衡データに対するConvNetの挙動を実証的に分析し、小クラスに対する訓練特徴とテスト特徴の間の特徴逸脱を観察する。
• 分類器を ŷ = arg max_c w_c^T f_theta(x) と分解し、特徴空間における小クラスの逸脱を研究する。
• クラスごとの訓練特徴平均とテスト特徴平均の距離（Equation 4）を用いて特徴逸脱を定量化する。
• 訓練目的関数を修正するためにクラス依存温度 a_c を導入し、実際に小クラスの決定値を拡大する。
• 補償の程度を制御するために a_c = (N_max / N_c)^gamma を gamma >= 0 で定義し、修正されたクロスエントロピー（Equation 5）で訓練する。
• CIFAR-10/100、Tiny-ImageNet、及び iNaturalist における varying imbalance ratios で CDT を評価し、ERM、再サンプリング、再重み付けのベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 ConvNets を用いた不均衡深層学習における小クラスの性能が低下する原因は何か？
• RQ2 訓練データとテストデータ間の特徴逸脱は小クラスへの過適合を説明するか？
• RQ3 特徴逸脱を模擬するよう訓練目的を調整する（CDT）ことで、逸脱自体を減じることなくテスト性能を向上させられるか？
• RQ4 標準的な不均衡ベンチマークにおいて CDT は再サンプリングおよび再重み付けとどう比較されるか？

主な発見

• ConvNets trained end-to-end on imbalanced data over-fit minor classes, unlike some traditional methods.
• Minor-class features diverge between training and test sets, with deviation increasing as class frequency decreases.
• Naive re-sampling and re-weighting do not reduce feature deviation and can fail to improve, or even worsen, minor-class performance.
• Class-dependent temperatures (CDT) compensate for feature deviation by enlarging minor-class decision values during training, improving test accuracy.
• CDT achieves superior or competitive performance compared to state-of-the-art methods on several benchmarks (CIFAR-10/100, Tiny-ImageNet, iNaturalist).