[論文レビュー] Rethinking Feature Distribution for Loss Functions in Image Classification

Weitao Wan, Yuanyi Zhong+2 more|arXiv (Cornell University)|Mar 8, 2018

Adversarial Robustness in Machine Learning参考文献 31被引用数 24

ひとこと要約

本稿では、深層特徴をガウス混合分布としてモデル化することで、分類および異常検出を向上させる Large-margin Gaussian Mixture (L-GM) 損失を提案する。分類マージンと尤度正則化を組み込むことで、モデルのロバスト性が向上し、同等誤差率（EER）が 3.1% にまで低下し、ソフトマックス損失やセンターロスを著しく上回る最先端の性能を達成した。

ABSTRACT

We propose a large-margin Gaussian Mixture (L-GM) loss for deep neural networks in classification tasks. Different from the softmax cross-entropy loss, our proposal is established on the assumption that the deep features of the training set follow a Gaussian Mixture distribution. By involving a classification margin and a likelihood regularization, the L-GM loss facilitates both a high classification performance and an accurate modeling of the training feature distribution. As such, the L-GM loss is superior to the softmax loss and its major variants in the sense that besides classification, it can be readily used to distinguish abnormal inputs, such as the adversarial examples, based on their features' likelihood to the training feature distribution. Extensive experiments on various recognition benchmarks like MNIST, CIFAR, ImageNet and LFW, as well as on adversarial examples demonstrate the effectiveness of our proposal.

研究の動機と目的

• 標準的な深層学習損失関数において、トレーニング特徴分布の明示的な確率的モデリングが欠如している問題に対処すること。
• 原理的な分布仮定に基づき、クラス内コンパクト性とクラス間分離性を強制することで、モデルの一般化性能を向上させること。
• 学習済み分布における特徴の尤度を用いて、分布外入力（例：adversarial 例）の効果的検出を可能にすること。
• ガウス混合モデルに基づく統一された確率的枠組みの下で、分類損失と特徴正則化を同時に最適化すること。

提案手法

• トレーニングセットの深層特徴が、各クラスが1つの成分に対応するガウス混合（GM）分布に従うと仮定する。
• GM仮定の下で、予測されたクラス確率と真のラベル間の交差エントロピーとして分類損失を導出する。
• トレーニング特徴が仮定されたGM分布に適合するよう促す尤度正則化項を導入する。
• 分類マージンをGM損失の定式化に直接組み込み、従来の手法と比較してマージンの強制を簡素化する。
• ベイズの定理を用いて後方確率と尤度を計算し、尤度に基づく異常検出を可能にする。
• 計算と解析の両面で扱いやすいように、単位行列を共分散とし、等しい事前確率を仮定した簡略化されたGMモデルを採用する。

実験結果

リサーチクエスチョン

• RQ1 深層特徴をガウス混合分布としてモデル化することで、分類性能の向上と一般化性能の改善が達成できるか？
• RQ2 特徴の尤度を用いた検出において、L-GM損失はソフトマックス損失やセンターロスと比較して、adversarial 例の検出性能に優れているか？
• RQ3 統一された損失関数が、同時に分類精度と特徴分布モデリングの最適化を可能にするか？
• RQ4 GM損失の定式化にマージンを組み込むことで、複雑な補助的距離計測を導入することなく、モデルのロバスト性が向上するか？
• RQ5 L-GM損失からの尤度スコアが、通常入力と adversarial 例をどの程度明確に区別できるか？

主な発見

• L-GM損失は、adversarial 例検出において同等誤差率（EER）が 3.1% にまで低下し、センターロスの 10.2% やソフトマックス損失の 37.7% より顕著に優れた性能を示した。
• L-GM損失は、学習済みトレーニング特徴分布における低尤度として、adversarial 例を効果的に区別可能であることが、尤度ヒストограмグラムおよびROC曲線から明らかになった。
• センターロスは、L-GM損失における尤度正則化の特別なケースとして正式に同等であることが示され、共通の確率的枠組みの下に統合された。
• L-GM損失は、MNIST、CIFAR、ImageNet、LFW といった複数のベンチマークで、ソフトマックス損失およびその変種を上回り、分類および異常検出の両タスクにおいて優れた性能を発揮した。
• 攻撃者がL-GM損失下での尤度を高めるように意図的にFGSMを適用した場合でも、大多数のadversarial 例は依然として検出可能であり、EERは4.3%にとどまり、こうした攻撃に対して高いロバスト性を示した。