[論文レビュー] Rethinking Softmax Cross-Entropy Loss for Adversarial Robustness

Tianyu Pang, Kun Xu+4 more|arXiv (Cornell University)|May 25, 2019

Adversarial Robustness in Machine Learning参考文献 72被引用数 75

ひとこと要約

この論文は Max-Mahalanobis Center (MMC) loss を導入し、密で構造化された特徴領域を明示的に誘導することで、クリーン精度を保ちつつ強力な適応的攻撃下でも頑健性を向上させ、Softmax Cross-Entropy (SCE) よりも収束を速くする。

ABSTRACT

Previous work shows that adversarially robust generalization requires larger sample complexity, and the same dataset, e.g., CIFAR-10, which enables good standard accuracy may not suffice to train robust models. Since collecting new training data could be costly, we focus on better utilizing the given data by inducing the regions with high sample density in the feature space, which could lead to locally sufficient samples for robust learning. We first formally show that the softmax cross-entropy (SCE) loss and its variants convey inappropriate supervisory signals, which encourage the learned feature points to spread over the space sparsely in training. This inspires us to propose the Max-Mahalanobis center (MMC) loss to explicitly induce dense feature regions in order to benefit robustness. Namely, the MMC loss encourages the model to concentrate on learning ordered and compact representations, which gather around the preset optimal centers for different classes. We empirically demonstrate that applying the MMC loss can significantly improve robustness even under strong adaptive attacks, while keeping state-of-the-art accuracy on clean inputs with little extra computation compared to the SCE loss.

研究の動機と目的

• 限られたまたは固定されたトレーニングデータで特徴分布を形作ることで頑健な分類を動機づける。
• SCE およびその派生が特徴空間の密度にどのように影響するかを形式的に分析し、限界を特定する。
• 各クラスの高密度で中心化された特徴領域を誘導する MMC 損失を提案する。
• さまざまな脅威モデル下で MMC の頑健性利点を示しつつ、クリーン精度と効率的な訓練を維持する。

提案手法

• 特徴空間におけるサンプル密度を定義し、一般化 SCE (g-SCE) 損失下での密度を分析する。
• SCE とその派生がソフトマックスベースの監督により疎な特徴分布を生むことを示す。
• MMC 損失を提案: L_MMC(Z(x),y) = 1/2 || z - μ_y^* ||^2, 固定中心 μ^* が各クラスの最適なクラス間分散のための Max-Mahalanobis 分布 (MMD) を形成。
• 事前設定されたクラス中心 μ^* を計算・活用し、中心間の最小角度を最大化する（||μ_l^*||_2 = C_MM）。
• MMC は局所的特徴密度を高める（定理 2）と主張し、データの悪用やデプローションなしでモデル容量をより良く活用する。
• MNIST、CIFAR-10、CIFAR-100 における MMC を、対抗訓練有無でセンター系損失と比較する。

実験結果

リサーチクエスチョン

• RQ1 SCE ベースの損失は特徴空間における学習特徴の密度をどのように形作るか？
• RQ2 高密度で中心化された特徴領域を明示的に誘導することで、クリーン精度を犠牲にせずに敵対的頑健性を向上させることができるか？
• RQ3 固定クラス中心 μ^* を使用することは、訓練可能な中心と比較して頑健性と収束にどのような影響を与えるか？
• RQ4 MMC は標準損失および以前の中心ベースの手法と比較して、適応型ホワイトボックスおよびブラックボックス攻撃下でどの程度性能を発揮するか？

主な発見

• MMC は固定クラス中心の周りの局所的特徴密度を高め、追加計算を最小限に抑えて頑健性を促進する。
• MMC は強力な適応攻撃下で頑健性を発揮しつつ、クリーン精度を SCE ベースラインと同等に維持する。
• ランダムにサンプルされたセンター集合（MMC-10 rand）はすでにいくつかのベースラインを上回り、最適な μ^* がさらなる利得を提供する。
• MMC は収束が速く、SCE と同時最適化を要するセンター系損失よりもモデル容量をより良く活用する。
• 対抗訓練と組み合わせた場合、MMC はトレーニング攻撃とは異なる攻撃下で頑健性を向上させる。
• センターは固定で訓練中にドリフトしないため、劣化問題を回避する。