[論文レビュー] Adversarial Robustness via Label-Smoothing

Morgane Goibert, Elvis Dohmatob|arXiv (Cornell University)|Jun 27, 2019

Adversarial Robustness in Machine Learning参考文献 19被引用数 11

ひとこと要約

本稿では、アーキテクチャの変更や訓練時間の増加なしに、深層ニューラルネットワークにおける敵対的ロバストネスを向上させるシンプルで効率的な手法としてラベルスムージング（LS）を提案する。真のラベルからの確率質量を他のクラス、特に敵対的およびボルツマン変種を通じて再配分することにより、MNIST、CIFAR10、SVHNの全データセットでロバストネスが向上し、C&Wなどの強力な攻撃に対しても競争力のある性能を発揮する。自然訓練を上回るが、すべてのケースでPGD敵対的訓練に匹敵するわけではない。

ABSTRACT

We study Label-Smoothing as a means for improving adversarial robustness of supervised deep-learning models. After establishing a thorough and unified framework, we propose several variations to this general method: adversarial, Boltzmann and second-best Label-Smoothing methods, and we explain how to construct your own one. On various datasets (MNIST, CIFAR10, SVHN) and models (linear models, MLPs, LeNet, ResNet), we show that Label-Smoothing in general improves adversarial robustness against a variety of attacks (FGSM, BIM, DeepFool, Carlini-Wagner) by better taking account of the dataset geometry. The proposed Label-Smoothing methods have two main advantages: they can be implemented as a modified cross-entropy loss, thus do not require any modifications of the network architecture nor do they lead to increased training times, and they improve both standard and adversarial accuracy.

研究の動機と目的

• ラベルスムージングが深層学習における敵対的攻撃に対して効果的で軽量な防御として機能するかどうかを調査すること。
• 先行研究を一般化し、新たな変種を可能にする統一的理論的・実践的フレームワークをラベルスムージングのために構築すること。
• MNIST、CIFAR10、SVHNといった多様なデータセットおよびMLP、LeNet、ResNetといった多様なモデルにおいて、ラベルスムージングのロバストネスと一般化の利点を評価すること。
• 標準的精度およびロバスト精度の観点から、PGD敵対的訓練や自然訓練といった強力なベースラインと比較して、ラベルスムージングの性能を評価すること。
• ラベルスムージングが、データセットの幾何構造をよりよく捉え、モデルの過信度を低減させることで一般化を向上させることを示すこと。

提案手法

• 真のクラスに近い滑らかさを持つ分布にワンホットラベルを置き換えることで、制御された不確実性を導入するラベルスムージングの統一的フレームワークを提案する。
• 敵対的LS（ALS）、ボルツマンLS（BLS）、2番目に良いLS（SBLS）の3つの新しいLS変種を導入し、それぞれ異なるスムージング戦略を通じてロバストネスを向上させるように設計されている。
• ALSは、真のクラス以外のクラスの中で最大のロジットを持つクラスに確率質量を再配分することで、滑らかにしたラベルを構築し、最も妥当な誤分類に注目することでロバストネスを向上させる。
• BLSは、ロジットに温度調整付きソフトマックスを適用して滑らかなラベルを生成し、確率分布をより柔らかくし、過信度を低減する。
• SBLSは、2番目にスコアが高いクラスに質量を再配分し、標準LSとALSの間の妥協点を提供する。
• すべての手法は、ネットワークアーキテクチャの変更なしに追加の訓練時間を要しない、修正された交差エントロピー損失として実装されている。

実験結果

リサーチクエスチョン

• RQ1 ラベルスムージングは、アーキテクチャの変更や訓練コストの増加なしに、深層ニューラルネットワークにおける敵対的ロバストネスを向上させることができるか？
• RQ2 FGSM、BIM、DeepFool、C&Wといった多様な敵対的攻撃に対して、異なるラベルスムージング変種（ALS、BLS、SBLS）のロバストネスはどのように比較されるか？
• RQ3 ラベルスムージングは標準的精度および敵対的精度を向上させるのか。その理由は何か？
• RQ4 ラベルスムージングは、特に過信度の低減を通じて、モデルの一般化およびデータセットの幾何構造とどのように関係しているか？
• RQ5 ラベルスムージングは、PGD敵対的訓練といった最先端の防御と比較して、ロバストネスおよび精度の面でどの程度競合可能か？

主な発見

• ラベルスムージングは、MNIST、CIFAR10、SVHNの全データセットおよびMLP、LeNet、ResNetの全モデルにおいて一貫して敵対的ロバストネスを向上させ、自然訓練をすべてのケースで上回る。
• 敵対的ラベルスムージング（ALS）およびボルツマンラベルスムージング（BLS）が、標準LSおよびSBLSを著しく上回るロバストネスを達成する。
• LeNetを用いたMNISTでは、ALSおよびBLSがFGSMおよびBIM攻撃に対してPGD敵対的訓練と同等またはそれを上回り、C&W攻撃に対してはそれを上回る。
• CIFAR10およびSVHNでは、攻撃強度εが中程度の場合は、LS手法がPGD訓練を上回るが、PGDの訓練コストはより高い。
• BLSにおける温度ハイパーパrameterは性能にほとんど影響を与えず、T=0.001が堅牢なデフォルト値として機能する。
• ラベルスムージングは標準的精度および敵対的精度を両方向上させ、過信度の低減を通じてロバストネスと一般化の強い関連性があることを示唆する。