[論文レビュー] Imbalanced Image Classification with Complement Cross Entropy

Yechan Kim, Younkwan Lee+1 more|arXiv (Cornell University)|Sep 4, 2020

Imbalanced Data Classification Techniques参考文献 46被引用数 6

ひとこと要約

本論文は、トレーニング中に誤ったクラスの予測確率を明示的に抑制することで、クラスの不均衡な画像分類を改善する新しい損失関数である補完交差エントロピー（CCE）を提案する。誤ったクラスのソフトマックススコアを中和することにより、CCEはマイノリティクラスの特徴学習を強化し、追加のデータやハイパーパrameterチューニングなしで、より高い精度と高速な収束を実現する。

ABSTRACT

Recently, deep learning models have achieved great success in computer vision applications, relying on large-scale class-balanced datasets. However, imbalanced class distributions still limit the wide applicability of these models due to degradation in performance. To solve this problem, in this paper, we concentrate on the study of cross entropy which mostly ignores output scores on incorrect classes. This work discovers that neutralizing predicted probabilities on incorrect classes improves the prediction accuracy for imbalanced image classification. This paper proposes a simple but effective loss named complement cross entropy based on this finding. The proposed loss makes the ground truth class overwhelm the other classes in terms of softmax probability, by neutralizing probabilities of incorrect classes, without additional training procedures. Along with it, this loss facilitates the models to learn key information especially from samples on minority classes. It ensures more accurate and robust classification results on imbalanced distributions. Extensive experiments on imbalanced datasets demonstrate the effectiveness of the proposed method.

研究の動機と目的

• 長尾分布のクラス不均衡データセットでトレーニングされたディープラーニングモデルにおける性能低下を是正すること。
• 最適化中に誤ったクラス予測を無視する標準的な交差エントロピーの限界を特定すること。
• マイノリティクラスのトレーニングダイナミクスを改善する、シンプルで効果的な損失関数を提案すること。
• データレベルの再重み付け、オーバーサンプリング、または複雑なハイパーパrameterチューニングの必要を排除すること。

提案手法

• 誤ったクラスの予測確率を最小化することに焦点を当てた、変更された損失関数である補完交差エントロピー（CCE）を提案する。
• 非正例クラスにおける高いソフトマックス出力をペナルティ化する対称的な損失項を導入し、効果的にそれらを中和する。
• 補完の強度を制御する温度のようなパrameter γ を使用し、実験では γ = -1 が最適であることが判明。
• データオーグメンテーションやクラス別損失スケーリングを必要とせず、バックプロパゲーション中に直接CCEを適用する。
• 正例クラスがソフトマックス出力分布を支配するように保証する対称的な定式化を採用する。
• 追加のモデルアーキテクチャの変更や外部データの操作を必要としない。

実験結果

リサーチクエスチョン

• RQ1 誤ったクラスの予測確率を抑制することで、不均衡な画像分類におけるモデルの一般化性能が向上するか？
• RQ2 誤ったクラス予測に明示的に焦点を当てた損失関数が、長尾分布データセットにおいて標準的な交差エントロピーを上回るか？
• RQ3 データリサンプリングやクラス再重み付けなしに、シンプルで微分可能な損失関数がより良いパフォーマンスを達成できるか？
• RQ4 補完パラメータ γ の選択が、モデルの収束と精度にどのように影響するか？
• RQ5 CCEはマイノリティクラスのサンプルに対するトレーニング効率とロバストネスを向上させられるか？

主な発見

• 長尾分布を示すCIFAR-10-LTでは、γ = -1 の場合、CCEが95.39%のバランス精度を達成し、標準的なERMや他のベースラインを上回った。
• 極度に不均衡なTiny ImageNetでは、CCEが78.45%のトップ-1精度を達成し、ERMやフォーカル損失を顕著に上回った。
• SVHNでは、ResNet-50の精度がERMの95.15%からCCEで95.15%に向上し、アーキテクチャを問わず一貫した向上が確認された。
• 最適な γ 値はすべてのデータセットで -1 であることが判明し、|γ| が増加するにつれて性能が低下した。
• 一部の設定ではCCEがより高速な収束を示し、追加のチューニングなしでマイノリティクラスのロバストネスが向上した。
• 誤差解析から、視覚的に類似したカテゴリは依然として課題であり、今後の研究における区別化の余地が示唆された。