[論文レビュー] Max-margin Class Imbalanced Learning with Gaussian Affinity

Munawar Hayat, Salman H. Khan+3 more|arXiv (Cornell University)|Jan 23, 2019

Imbalanced Data Classification Techniques参考文献 58被引用数 16

ひとこと要約

本稿では、Bregman散発に基づくガウス型類似度を用いて、ユークリッド空間上でマックスマージン分類とクラスタリングを統合的に実行する、新しい微分可能損失関数であるアフィニティ損失を提案する。複数の均等に配置され、等距離に保たれるクラスプロトタイプを学習することで、不均衡データセットにおける汎化性能とロバスト性が向上し、計算コストの増加を最小限に抑えつつ、画像分類および検証ベンチマークで最先端の性能を達成する。

ABSTRACT

Real-world object classes appear in imbalanced ratios. This poses a significant challenge for classifiers which get biased towards frequent classes. We hypothesize that improving the generalization capability of a classifier should improve learning on imbalanced datasets. Here, we introduce the first hybrid loss function that jointly performs classification and clustering in a single formulation. Our approach is based on an `affinity measure' in Euclidean space that leads to the following benefits: (1) direct enforcement of maximum margin constraints on classification boundaries, (2) a tractable way to ensure uniformly spaced and equidistant cluster centers, (3) flexibility to learn multiple class prototypes to support diversity and discriminability in feature space. Our extensive experiments demonstrate the significant performance improvements on visual classification and verification tasks on multiple imbalanced datasets. The proposed loss can easily be plugged in any deep architecture as a differentiable block and demonstrates robustness against different levels of data imbalance and corrupted labels.

研究の動機と目的

• レアクラスが不足しているため分類器が頻度の高いクラスに偏ってしまう、深層学習におけるクラス不均衡の課題に対処する。
• 特徴空間における分類とクラスタリングを同時に最適化することで、すべてのクラスにバランスの取れた表現を実現し、モデルの汎化性能を向上させる。
• 複数の均等に配置され、等距離に保たれるクラスプロトタイプを学習可能な、微分可能で即時統合可能な損失関数を開発する。
• マージンの明示的強制がなく、トレーニングとテストデータ間の分布シフトに弱い、標準的なソフトマックス損失の限界を克服する。
• 特徴空間のクラスタリングに幾何的制約を課すことにより、ラベルノイズやデータ不均衡の度合いの変化に対してもロバスト性を確保する。

提案手法

• Bregman散発に基づくガウス類似度を用い、深層特徴と学習済みクラスプロトタイプ間のL2距離に基づく新しい損失関数を定式化する。
• クラス内多様性を捉え、複雑なデータ分布をサポートするため、各クラスに複数の学習可能なクラスプロトタイプを導入する。
• プロトタイプが均等に配置され、等距離に保たれるように幾何的制約を課す。プロトタイプ数が埋め込み次元＋1未満の場合に有効である。
• 可学習なスプレッドパラメータσを用いてクラス内変動を制御し、ガウス類似度メトリックを通じてクラスタのサイズと形状を調節する。
• 微分可能でエンドツーエンドでトレーニング可能なモジュールを提供し、追加の推論コストを伴わず、あらゆる深層ニューラルネットワークアーキテクチャに統合可能である。
• マックスマージン分類とクラスタリングを統合的に最適化することで、クラス間分離性とクラス内凝集性の両方を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 統一された損失関数が、ユークリッド空間上で分類とクラスタリングを統合的に最適化することで、不均衡データセットにおける汎化性能を向上させることができるか？
• RQ2 幾何的制約を課した複数のクラスプロトタイプを学習することで、レアクラスおよび不均衡クラスにおける性能にどのような影響を与えるか？
• RQ3 本稿で提案するアフィニティ損失は、データ不均衡の度合いやラベルノイズの度合いが変化する状況下でも、標準的なソフトマックス損失や他の最先端手法をどの程度上回るか？
• RQ4 不均衡ベンチマーク全体にわたってロバストな性能を達成するための、クラスタースプレッド（σ）と1クラスあたりのプロトタイプ数の最適な設定は何か？
• RQ5 Bregman散発に基づくガウス型類似度を用いることで、角マージン手法に比べ、より安定的で汎化性の高い特徴空間のクラスタリングが可能になるか？

主な発見

• 提案されたアフィニティ損失は、最初の5つの数字に10％のサンプルしか使用しない不均衡なMNISTデータセットで、テスト誤差率99.3％を達成し、標準的なソフトマックス損失や他のベースラインを著しく上回った。
• 1クラスあたり5つ以上のプロトタイプを用いることで最適な性能が達成され、マルチセンタード学習が表現の多様性とロバスト性を向上させることを示した。
• σの値が5から20の間で最良の性能が得られた。σが大きすぎるとクラスタの重なりが生じ、クラス内分散が増加することで性能が低下した。
• ラベルノイズに対してもロバストであり、CIFAR-100 や FG-VC-100 を含む複数の不均衡データセットで高い精度を維持した。
• ℓ₂距離の二乗を用いたガウス類似度が最良の結果をもたらしたが、ℓ₁距離を用いたガウス類似度では収束しなかった。
• ソフトマックス損失とは異なり、マジョリティクラスとマイノリティクラスの両方において、均等なサイズと等距離のクラスタを実現した。