[論文レビュー] Adversarial Robustness via Adversarial Label-Smoothing.

Morgane Goibert, Elvis Dohmatob|arXiv (Cornell University)|Jun 27, 2019

Adversarial Robustness in Machine Learning被引用数 11

ひとこと要約

本論文は、敵対的ラベルスムージング法—敵対的ラベルスムージング、ボルツマンラベルスムージング、および2番目に良いラベルスムージング—を提案し、深層学習モデルにおける敵対的ロバストネスを向上させる。データセットの幾何構造をより適切に反映するように交差エントロピー損失を変更することで、アーキテクチャの変更やトレーニング時間の増加なしに、標準的および敵対的精度の両方を向上させ、複数のデータセットおよびモデルで標準ラベルスムージングを上回る性能を示す。

ABSTRACT

We study Label-Smoothing as a means for improving adversarial robustness of supervised deep-learning models. After establishing a thorough and unified framework, we propose several novel Label-Smoothing methods: adversarial, Boltzmann and second-best Label-Smoothing methods. On various datasets (MNIST, CIFAR10, SVHN) and models (linear models, MLPs, LeNet, ResNet), we show that these methods improve adversarial robustness against a variety of attacks (FGSM, BIM, DeepFool, Carlini-Wagner) by better taking account of the dataset geometry. These proposed Label-Smoothing methods have two main advantages: they can be implemented as a modified cross-entropy loss, thus do not require any modifications of the network architecture nor do they lead to increased training times, and they improve both standard and adversarial accuracy.

研究の動機と目的

• ラベルスムージングを用いて教師あり深層学習モデルの敵対的ロバストネスを向上させること。
• 敵対的例に対処する上で標準ラベルスムージングの限界を克服し、データセットの幾何構造を組み込むこと。
• ネットワークアーキテクチャの変更やトレーニング時間の増加なしにロバストネスを向上させるラベルスムージングの変種を開発すること。
• 敵対的ロバストネスの文脈において、ラベルスムージング手法を統一的かつ体系的に評価すること。

提案手法

• 敵対的ラベルスムージングを提案。これは、敵対的摂動下でのモデルの予測に基づいてラベル分布を調整する。
• ボルツマンラベルスムージングを導入。これは温度調整付きのソフトマックスを用いて、クラスの信頼度に応じてラベルをスムージングする。
• 2番目に良いラベルスムージングを開発。これは、2番目に確信度の高いクラスに高い確率を割り当てることでロバストネスを向上させる。
• すべての手法は、変更された交差エントロピー損失として実装されており、アーキテクチャの変更なしに即座に統合可能である。
• フレームワークは、データセットの幾何的性質に焦点を当てた共通の理論的基盤の下でラベルスムージングを統一する。
• 標準的な最適化を用いてエンドツーエンドでトレーニングされ、トレーニング効率が維持される。

実験結果

リサーチクエスチョン

• RQ1 標準ラベルスムージングを超えて、敵対的ロバストネス向上に有効に適応可能なラベルスムージングが可能かどうか。
• RQ2 敵対的ロバストネスと精度の観点から、異なるラベルスムージング戦略（敵対的、ボルツマン、2番目に良い）の性能をどのように比較できるか。
• RQ3 これらの手法が、トレーニングコストの増加なしに、敵対的攻撃下での一般化性能をどの程度向上させるか。
• RQ4 ラベルスムージングにデータセットの幾何構造を組み込むことで、多様なモデルおよびデータセットにおいてロバストネスがどの程度向上するか。

主な発見

• 提案されたラベルスムージング手法は、MNIST、CIFAR10、SVHNを含む複数のデータセットで敵対的ロバストネスを向上させる。
• すべての手法が、FGSM、BIM、DeepFool、Carlini-Wagner攻撃下でも標準的精度およびロバスト精度の両方を向上させる。
• アーキテクチャの変更やトレーニング時間の増加なしに、ロバストネスの向上を達成している。
• 敵対的ラベルスムージングは、データセットの幾何構造を捉えることに特に効果的であり、強力なロバストネスの向上をもたらす。
• 線形モデル、MLP、LeNet、ResNetを含むさまざまなモデルで一貫した改善が得られている。
• すべての評価ベンチマークで、標準ラベルスムージングを上回る標準的および敵対的精度を、ラベルスムージングの変種が達成している。