[論文レビュー] Striking the Right Balance with Uncertainty

Salman Khan, Munawar Hayat+3 more|arXiv (Cornell University)|Jan 22, 2019

Imbalanced Data Classification Techniques参考文献 59被引用数 31

ひとこと要約

本稿では、ベイジアン不確実性推定を活用して意思決定境界を動的に調整することで、不均衡データセットにおけるロバストな分類器を学習する、新たな不確実性ベースのフレームワークを提案する。レアクラスに対してはより大きなマージンを強制し、サンプルを多次元正規分布としてモデル化することで一般化性能を向上させ、顔認識、属性予測、皮膚腫瘍検出の分野で6つのベンチマークデータセットにおいて最先端の性能を達成した。

ABSTRACT

Learning unbiased models on imbalanced datasets is a significant challenge. Rare classes tend to get a concentrated representation in the classification space which hampers the generalization of learned boundaries to new test examples. In this paper, we demonstrate that the Bayesian uncertainty estimates directly correlate with the rarity of classes and the difficulty level of individual samples. Subsequently, we present a novel framework for uncertainty based class imbalance learning that follows two key insights: First, classification boundaries should be extended further away from a more uncertain (rare) class to avoid overfitting and enhance its generalization. Second, each sample should be modeled as a multi-variate Gaussian distribution with a mean vector and a covariance matrix defined by the sample's uncertainty. The learned boundaries should respect not only the individual samples but also their distribution in the feature space. Our proposed approach efficiently utilizes sample and class uncertainty information to learn robust features and more generalizable classifiers. We systematically study the class imbalance problem and derive a novel loss formulation for max-margin learning based on Bayesian uncertainty measure. The proposed method shows significant performance improvements on six benchmark datasets for face verification, attribute prediction, digit/object classification and skin lesion detection.

研究の動機と目的

• レアクラスの一般化性能が著しく低下する長尾型で不均衡なデータセットにおいて、バイアスのない分類器を学習する課題に対処すること。
• 分類におけるクラスのレアネスやサンプルの難易度と、ベイジアン不確実性推定との内在的関連性を調査すること。
• クラスレベルとサンプルレベルの両方の不確実性に基づいて意思決定境界を動的に適応させる微分可能損失関数を構築すること。
• 不確実性に配慮したマージン強制を用いて、代表度が低いクラスの分類領域を拡大することで、その一般化性能を向上させること。

提案手法

• クラスレベルの不確実性が、稀なクラスのマージン拡張の程度を決定する、原理的であるマージン強制損失を導入する。
• 各サンプルを、その不確 Promise から導出された平均と共分散を持つ多次元正規分布としてモデル化し、2階モーメントに配慮した境界最適化を可能にする。
• クラスレベルとサンプルレベルの両方の不確実性をソフトマックス目的関数に統合した、完全に微分可能な損失関数を定式化し、標準的な深層ネットワークと互換性を持つ。
• ドロップアウトを不確実性推定のベイジアン近似として用い、アブレーションスタディにより、ドロップアウト率が0.3〜0.5の範囲で最適な性能が得られることを示した。
• 固定マージンハイパーパrameter（例：ArcFace や SphereFace におけるもの）を不確実性に基づく値に置き換えることで、困難でレアなサンプルの判別能を向上させる。
• 顔認識、属性予測、皮膚腫瘍検出を含む多様なベンチマークに本手法を適用し、一貫した性能向上を示した。

実験結果

リサーチクエスチョン

• RQ1 不均衡分類において、ベイジアン不確実性推定を用いて、レアクラスや困難なサンプルを信頼性高く特定できるか？
• RQ2 不確実性（レア）なクラスに対してより大きな意思決定マージンを強制することで、未知のテストデータにおける一般化性能が向上するか？
• RQ3 不確実性から導出された共分散を持つ多次元正規分布としてサンプルをモデル化することで、分類器のロバストネスが向上するか？
• RQ4 長尾型データセットにおいて、不確実性ベースのマージン強制は、従来のコストセンシティブ法やデータ拡張法と比較してどのように優れているか？
• RQ5 不確実性ベースの損失再重み付けは、多様なビジョンベンチマークにおいて、稀なクラスのパフォーマンス向上にどの程度寄与するか？

主な発見

• 提案手法は6つのベンチマークデータセットにおいて最先端の性能を達成し、不均衡な CIFAR-10 においても F1（4.5）とリCALL（3.9）の顕著な向上を示した。
• 最も不均衡な上位50%のクラス（最少のサンプル数）において、20クラス中16クラス（80%）で最高のパフォーマンスを達成し、希少カテゴリにおける顕著な向上を示した。
• アブレーションスタディにより、不確実性に基づくマージン強制（UMM）とサンプルレベルの不確実性モデリング（SUM）を組み合わせた場合に最高のパフォーマンス（不均衡MNISTで98.7%の正確度）が得られることを確認した。
• ArcFace や SphereFace における固定マージンハイパーパrameterを不確実性推定値に置き換えることで、全テスト損失バリアントにおいて一貫した性能向上が得られた。
• 最適なパフォーマンスはドロップアウト率0.3〜0.5で達成され、それより高いか低い値では性能が低下する傾向にあり、不確実性推定の質に感受性があることが示された。
• クラス間でのスコアのばらつきが低減したため、代表度が低いクラスのパフォーマンスがよりバランスよく、一般化性能が向上した。