[論文レビュー] MSE Loss with Outlying Label for Imbalanced Classification

Sota Kato, Kazuhiro Hotta|arXiv (Cornell University)|Jul 6, 2021

Imbalanced Data Classification Techniques参考文献 29被引用数 7

ひとこと要約

本論文は、深層学習におけるクラス不均衡問題に対処するために、平均二乗誤差（MSE）損失と外れ値クラスラベルを組み合わせた新しい損失関数を提案する。クラス頻度に基づいてラベルを再重み付けし、レアクラスに「外れ値的」なマージンを付与することで、すべてのクラスに均等なバックプロパゲーションを実現し、特徴空間の分離を向上させる。この手法により、ネットワークアーキテクチャの変更なしに、データリサンプリングを伴わず、分類とセマンティックセグメンテーションの両タスクで、CIFAR-100、Food-101、CamVid における最先端の性能を達成する。

ABSTRACT

In this paper, we propose mean squared error (MSE) loss with outlying label for class imbalanced classification. Cross entropy (CE) loss, which is widely used for image recognition, is learned so that the probability value of true class is closer to one by back propagation. However, for imbalanced datasets, the learning is insufficient for the classes with a small number of samples. Therefore, we propose a novel classification method using the MSE loss that can be learned the relationships of all classes no matter which image is input. Unlike CE loss, MSE loss is possible to equalize the number of back propagation for all classes and to learn the feature space considering the relationships between classes as metric learning. Furthermore, instead of the usual one-hot teacher label, we use a novel teacher label that takes the number of class samples into account. This induces the outlying label which depends on the number of samples in each class, and the class with a small number of samples has outlying margin in a feature space. It is possible to create the feature space for separating high-difficulty classes and low-difficulty classes. By the experiments on imbalanced classification and semantic segmentation, we confirmed that the proposed method was much improved in comparison with standard CE loss and conventional methods, even though only the loss and teacher labels were changed.

研究の動機と目的

• 少数クラスに対して特に顕著な一般化性能の劣化を是正すること。
• 標準的な交差エントロピー損失におけるクラス不均衡が引き起こすバックプロパゲーションのバイアスを是正すること。
• メトリクス学習としてのクラス間関係をモデル化することで、特徴空間学習を改善すること。
• データリサンプリングや複雑なアーキテクチャを用いずに、リソースが限られたクラスの学習を強化する損失関数を開発すること。
• 既存のトレーニングパイプラインへの最小限の変更で、画像分類およびセマンティックセグメンテーションの両タスクにおいて有効性を実証すること。

提案手法

• 教師ラベルとしての標準的なワンホット表現を、クラスのサンプル頻度に応じてスケーリングされる外れ値ラベルに置き換える。
• サンプル数が少ないクラスに特徴空間上で大きなマージン値を割り当てるように外れ値ラベルを定義する。
• MSE損失を用いて、ネットワークの予測値と外れ値ラベルとのL2距離を最小化することで、すべてのクラスに均等なバックプロパゲーションを可能にする。
• 外れ値マージンの度合いを制御するハイパーパrameter α を導入し、高頻度クラスと低頻度クラスの分離度を調整可能にする。
• ネットワークアーキテクチャやデータオーグメンテーションを変更せず、変更済みの損失関数とラベルのみを用いてモデルを訓練する。
• 本手法を画像分類およびセマンティックセグメンテーションの両タスクに適用し、t-SNE可視化を用いて学習された特徴空間を分析する。

実験結果

リサーチクエスチョン

• RQ1 標準的な交差エントロピー損失と比較して、外れ値ラベルを用いたMSE損失は、クラス不均衡データセットにおける分類精度を向上させるか？
• RQ2 提案手法は、高難易度（レア）クラスと低難易度（共通）クラスを分離するより識別性の高い特徴空間を生成するか？
• RQ3 外れ値マージンを制御するハイパーパrameter α は、異なるデータセットやクラス不均衡度に対して性能にどのように影響を与えるか？
• RQ4 提案された損失関数は、長尾分布を示すセマンティックセグメンテーションタスクにおいて最先端の結果を達成できるか？
• RQ5 性能向上の理由は、特徴空間の組織化の改善によるものか、単に少数クラスに対する損失の増加によるものか？

主な発見

• 長尾分布を示すCIFAR-100では、提案手法がトップ-1精度52.41%を達成し、重み付きCE損失よりも1.43%の向上を示した。
• CamVidにおけるセマンティックセグメンテーションでは、mIoUが72.69%に達し、重み付きCE損失よりも5.2%、Dice損失よりも2.94%の向上を示した。
• CamVidにおける最適なα値は6であり、mIoUは72.69%でピークに達し、α > 6 では低下する傾向を示しており、ハイパーパrameterのチューニングに敏感であることが判明した。
• t-SNE可視化により、αを増加させることで、「Bicyclist」などのレアクラスと共通クラスとの間の分離が明確に向上し、特徴の識別性が向上していることが確認された。
• 分類およびセグメンテーションの両タスクにおいて、Focal Lossや他の従来の損失関数を上回る性能を示し、分野を越えた堅牢性を示した。
• ネットワークアーキテクチャの変更やデータサンプリング戦略の変更なしに、損失関数と教師ラベルの変更のみで性能向上が達成された。