[論文レビュー] Improving Adversarial Robustness via Guided Complement Entropy

Haoyun Chen, Jhao-Hong Liang+5 more|arXiv (Cornell University)|Mar 23, 2019

Adversarial Robustness in Machine Learning参考文献 26被引用数 7

ひとこと要約

本稿では、追加的手続や性能低下を伴わずに敵対的ロバストネスを向上させる新しいトレーニング目的であるガイド付き補完エントロピー（GCE）を提案する。正しいクラスの確率を同時に最大化し、誤りクラスの確率をガイド付きバランス項によって抑制することで、潜在空間における特徴の分離性を向上させ、PGD攻撃下におけるCIFAR-10およびMNISTで最先端のロバストネスと精度を達成する。

ABSTRACT

Adversarial robustness has emerged as an important topic in deep learning as carefully crafted attack samples can significantly disturb the performance of a model. Many recent methods have proposed to improve adversarial robustness by utilizing adversarial training or model distillation, which adds additional procedures to model training. In this paper, we propose a new training paradigm called Guided Complement Entropy (GCE) that is capable of achieving "adversarial defense for free," which involves no additional procedures in the process of improving adversarial robustness. In addition to maximizing model probabilities on the ground-truth class like cross-entropy, we neutralize its probabilities on the incorrect classes along with a "guided" term to balance between these two terms. We show in the experiments that our method achieves better model robustness with even better performance compared to the commonly used cross-entropy training objective. We also show that our method can be used orthogonal to adversarial training across well-known methods with noticeable robustness gain. To the best of our knowledge, our approach is the first one that improves model robustness without compromising performance.

研究の動機と目的

• 敵対的訓練や蒸留に依存せずに、敵対的ロバストネスを向上させるトレーニングパラダイムを開発すること。
• 既存の防御手法におけるロバストネスとクリーン精度の間の一般的なトレードオフを解消すること。
• 「無料の敵対的防御」を実現すること—追加の計算負荷やモデル依存性なしにロバストネスを向上させること。
• 補完的確率の抑制を通じて、潜在空間におけるクラス分離性を向上させる損失関数の設計。
• PGD敵対的訓練などの既存の防御手法と組み合わせた場合の互換性と性能向上を実証すること。

提案手法

• 交差エントロピーに誤りクラス確率に対するペナルティを組み合わせた新しい損失関数、ガイド付き補完エントロピー（GCE）を提案する。
• 正しいクラスの最大化と誤りクラスの抑制をバランスさせるために、指数関数的にスケーリングされるガイド項を導入する。
• GCE損失を経験的リスク最小化（ERM）に適用し、標準的な交差エントロピーに代えてモデルのトレーニングに使用する。
• 訓練中に敵対的サンプルを生成するためにPGD敵対的攻撃フレームワークをXE損失とともに用いるが、モデル最適化にはGCEを用いる。
• t-SNEを用いて潜在空間を可視化し、GCEが交差エントロピーに比べてより明確で重複の少ないクラスクラスタを生成することを確認する。
• 標準的トレーニングおよび敵対的トレーニングの設定（MNISTでは40イテレーション、CIFAR-10では10イテレーション）を用い、PGD攻撃下でのロバストネスを評価する。

実験結果

リサーチクエスチョン

• RQ1 訓練中に敵対的サンプルや教師モデルを追加せずに、敵対的ロバストネスを向上させることは可能か？
• RQ2 正しいクラスの尤度を最大化しながら誤りクラスの確率を抑制することで、より良い一般化とロバストネスが達成されるか？
• RQ3 新しい損失関数が、通常の性能トレードオフを回避しつつ、クリーン精度とロバストネスを同時に向上させられるか？
• RQ4 潜在空間の分離性と敵対的ロバストネスの観点から、GCEは交差エントロピーおよび敵対的訓練と比べてどのように差をつけるか？
• RQ5 GCEは、既存の敵対的訓練手法と効果的に組み合わせられ、さらにロバストネスを向上させられるか？

主な発見

• CIFAR-10では、GCEでトレーニングしたモデルが交差エントロピーに比べてクリーン精度で最大10.14%の相対的向上を達成した。
• CIFAR-10におけるε=0.08のPGD攻撃下で、GCEは交差エントロピーに比べてロバスト精度で最大5.91%優れた性能を示した。
• MNISTではε=0.3の条件下で、GCEは83.85%のロバスト精度を達成したのに対し、XEは83.67%であった。一貫した向上が確認された。
• t-SNE可視化により、GCEが交差エントロピーに比べて潜在空間でより分離性が高く、重複が少ないクラスクラスタを生成することが確認された。
• GCEはロバストネスを向上させつつも、クリーン精度を維持または向上させた。これは、ロバストネスが性能の低下を伴うという一般的な認識に反する。
• GCEはPGD敵対的訓練と組み合わせることで、さらに強いロバストネスを達成でき、既存手法との直交的互換性を示した。