[論文レビュー] Understanding CNN Fragility When Learning With Imbalanced Data

Damien Dablain, Kristen N. Jacobson+3 more|arXiv (Cornell University)|Oct 17, 2022

Imbalanced Data Classification Techniques被引用数 6

ひとこと要約

この論文は、不均衡データセットにおける少数クラスでの一般化にCNNが失敗する理由を、潜在的特徴埋め込み（FE）と分類埋め込み（CE）の分析により調査している。モデルが少数クラスに対して、高マグニチュードで多様性の低い特徴の狭い集合に依存していることが明らかになった。これは、テスト時の特徴マグニチュードが訓練データと異なると脆くなる原因となり、一般化の強靭性には、クラスのバランスだけでなく特徴の多様性も不可欠であることを示している。

ABSTRACT

Convolutional neural networks (CNNs) have achieved impressive results on imbalanced image data, but they still have difficulty generalizing to minority classes and their decisions are difficult to interpret. These problems are related because the method by which CNNs generalize to minority classes, which requires improvement, is wrapped in a blackbox. To demystify CNN decisions on imbalanced data, we focus on their latent features. Although CNNs embed the pattern knowledge learned from a training set in model parameters, the effect of this knowledge is contained in feature and classification embeddings (FE and CE). These embeddings can be extracted from a trained model and their global, class properties (e.g., frequency, magnitude and identity) can be analyzed. We find that important information regarding the ability of a neural network to generalize to minority classes resides in the class top-K CE and FE. We show that a CNN learns a limited number of class top-K CE per category, and that their number and magnitudes vary based on whether the same class is balanced or imbalanced. This calls into question whether a CNN has learned intrinsic class features, or merely frequently occurring ones that happen to exist in the sampled class distribution. We also hypothesize that latent class diversity is as important as the number of class examples, which has important implications for re-sampling and cost-sensitive methods. These methods generally focus on rebalancing model weights, class numbers and margins; instead of diversifying class latent features through augmentation. We also demonstrate that a CNN has difficulty generalizing to test data if the magnitude of its top-K latent features do not match the training set. We use three popular image datasets and two cost-sensitive algorithms commonly employed in imbalanced learning for our experiments.

研究の動機と目的

• 不均衡データセットにおけるCNNの少数クラスへの一般化失敗の理由を理解すること。
• 潜在的特徴埋め込み（FE）と分類埋め込み（CE）がモデル意思決定に与える影響を調査すること。
• CNNが不均衡な訓練データから頻度の高いパターンを学習するのではなく、固有のクラス特徴を学習するのかを検証すること。
• 特徴マグニチュードと多様性がモデル一般化性能に果たす役割を評価すること。
• 単にクラス頻度を再バランス化すれば十分であるという仮定に疑問を呈し、代わりに潜在的特徴多様性が同様に重要であると提唱すること。

提案手法

• 著者らは、訓練済みCNNを特徴抽出部と分類ヘッドに分解し、潜在表現を隔離・分析した。
• ネットワークの最終層から特徴埋め込み（FE）と分類埋め込み（CE）を抽出・分析した。
• 各クラスについて、アイデンティティ、マグニチュード、頻度、密度に注目して、トップ-K FEとCEを定義・計算した。
• 訓練データとテストデータの埋め込みを比較し、特徴応答範囲とアイデンティティの一貫性を評価した。
• FBノルムを用いてトップ-K特徴のマグニチュードと多様性を定量化し、一般化性能と関連付けた。
• SVHN、CelebA、CIFAR-10の3つのデータセットで実験を行い、2種類のコストセンシティブ損失関数（ファーコス損失、LDAM）を用い、TP/FP分析を通じて一般化性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 不均衡設定下で、多数クラスと少数クラスのトップ-K特徴埋め込みと分類埋め込みのアイデンティティとマグニチュードはどのように異なるか？
• RQ2 モデルの一般化性能が、訓練データとテストデータにおける特徴マグニチュード範囲の一貫性にどの程度依存しているか？
• RQ3 モデルは、訓練分布からの高頻度パターンを学習するのではなく、固有のクラス特徴を学習しているのか？
• RQ4 トップ-K FE/CEの特徴多様性（数とマグニチュードのばらつき）は、少数クラスにおける一般化性能とどの程度相関するか？
• RQ5 潜在的特徴多様性が整備されていなければ、リサンプリングやコストセンシティブ手法だけでも堅牢性が保証されるのか？

主な発見

• CNNは各クラスに対して少数のトップ-K分類埋め込みしか学習せず、バランスの取れた設定と比較して、少数クラスでは特徴の数が少なく、マグニチュードも低かった。
• 少数クラスの予測は、高マグニチュードの特徴の狭い集合に依存しており、テスト時の特徴マグニチュードが訓練時の応答範囲を逸脱するとモデルが脆くなる。
• 真正例（TP）のFBノルムは、偽正例（FP）のそれより顕著に低く（1.73–4.67 対 9.00–21.16）、正しい予測がより一貫性があり、高マグニチュードの特徴応答に基づいていることを示している。
• トップ-K特徴アイデンティティの70％の重複があっても、訓練データとテストデータの特徴マグニチュード範囲が異なると、モデルは一般化に失敗する。
• 交差エントロピーまたはコストセンシティブ損失で訓練したモデルは、テストデータの特徴マグニチュードが訓練データと一致しないと一般化に失敗し、特定の応答範囲を記憶していることが示唆された。
• 本研究は、トップ-K埋め込みの数とマグニチュードのばらつきを測定した潜在的特徴多様性が、クラスバランスと同様に、堅牢な一般化に不可欠であると結論づけた。