[論文レビュー] Revisiting Adversarial Robustness Distillation: Robust Soft Labels Make Student Better

Bojia Zi, Shihao Zhao+2 more|arXiv (Cornell University)|Aug 18, 2021

Adversarial Robustness in Machine Learning参考文献 61被引用数 5

ひとこと要約

本稿では、敵対的で頑健なラベル（RSL）を用いることで、小規模な学生モデルの敵対的頑健性を向上させる知識蒸留手法、Robust Soft Label Adversarial Distillation (RSLAD) を提案する。RSLAD はすべての損失項で RSL を使用することで、従来手法を上回り、CIFAR-10 および CIFAR-100 において AutoAttack に対して最先端の頑健性を達成する。ResNet-18 の学生モデルは、WideResNet-34-10 の教師モデルから蒸留することで、自身の教師を上回る性能を発揮する。

ABSTRACT

Adversarial training is one effective approach for training robust deep neural networks against adversarial attacks. While being able to bring reliable robustness, adversarial training (AT) methods in general favor high capacity models, i.e., the larger the model the better the robustness. This tends to limit their effectiveness on small models, which are more preferable in scenarios where storage or computing resources are very limited (e.g., mobile devices). In this paper, we leverage the concept of knowledge distillation to improve the robustness of small models by distilling from adversarially trained large models. We first revisit several state-of-the-art AT methods from a distillation perspective and identify one common technique that can lead to improved robustness: the use of robust soft labels -- predictions of a robust model. Following this observation, we propose a novel adversarial robustness distillation method called Robust Soft Label Adversarial Distillation (RSLAD) to train robust small student models. RSLAD fully exploits the robust soft labels produced by a robust (adversarially-trained) large teacher model to guide the student's learning on both natural and adversarial examples in all loss terms. We empirically demonstrate the effectiveness of our RSLAD approach over existing adversarial training and distillation methods in improving the robustness of small models against state-of-the-art attacks including the AutoAttack. We also provide a set of understandings on our RSLAD and the importance of robust soft labels for adversarial robustness distillation.

研究の動機と目的

• リソース制約のある環境（例：モバイルデバイス）における、小規模で軽量なディープニューラルネットワークの敵対的頑健性を向上させること。
• ソフトラベルが敵対的頑健性蒸留に果たす役割を調査すること、特に頑健でないソフトラベルと頑健なソフトラベルの違いを明確にすること。
• 頑健なソフトラベルを完全に活用することで、学生モデルの性能を向上させる、新しい蒸留フレームワークを開発すること。
• 教師モデルと学生モデルの複雑さの相互作用が、蒸留効果に与える影響を理解すること。
• 頑健なソフトラベルが、効果的な敵対的頑健性蒸留に不可欠であることを、実証的に検証すること。

提案手法

• RSLAD は、学生モデルの訓練中に、交差エントロピー損失および一貫性損失を含むすべての損失項において、ハードラベルの代わりに頑健なソフトラベル（RSL）を用いる。
• RSL は、大規模で敵対的訓練済みの教師モデル（例：TRADES や PGD を用いた AT）によって生成され、その予測が頑健であることを保証する。
• 学生モデルは、自然な入力および敵対的入力の両方に対して、RSL を用いて教師の予測を模倣するように訓練される。
• RSL を主な監視信号として用いることで、クリーンデータ、敵対的データ、一貫性のすべての訓練信号に対して、知識蒸留が適用される。
• 本フレームワークは、CIFAR-10 および CIFAR-100 に対して評価され、ResNet-18 や WideResNet を学生モデルとして、多様な教師アーキテクチャを用いる。
• アブレーションスタディでは、RSL と自然ソフトラベル（NSL）および滑らかソフトラベル（SSL）を比較し、ソフトラベルの頑健性が果たす重要な役割を示している。

Figure 1: An overview of the proposed RSLAD framework, in comparison with 4 existing methods including TRADES , MART , ARD and IAD . Black solid arrows represent training with hard labels $y$ ; yellow and blue dashed arrows represent predicting process for natural and adversarial examples respective

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練済みの教師モデルから得られる頑健なソフトラベルを用いることで、小規模な学生モデルの敵対的頑健性が顕著に向上するか？
• RQ2 ソフトラベルの種別（RSL 対 NSL 対 SSL）が、蒸留された学生モデルの頑健性に与える影響は何か？
• RQ3 教師モデルの複雑さが、蒸留された学生モデルの頑健性に与える影響は何か？
• RQ4 中程度に大きな教師モデルからの蒸留が、より大きな教師や同一サイズの教師からのものよりも優れた頑健性をもたらすことがあるか？
• RQ5 敵対的蒸留において、頑健性の飽和現象や頑健性の不足現象（robust underfitting）が生じるか、それらが学生モデルの性能に与える影響は何か？

主な発見

• RSLAD は、CIFAR-10 において最先端の頑健性を達成し、WideResNet-34-10 の教師モデルから蒸留された ResNet-18 の学生モデルが、AutoAttack に対して 51.49% の精度を達成した。
• 非頑健なソフトラベル（例：自然ソフトラベル（NSL）や滑らかソフトラベル（SSL））を用いることで、頑健性が著しく低下し、NSL を用いると AA 精度が 42.08% にまで低下した。
• 教師モデルの複雑さが増すに従い、学生モデルの頑健性が単調に向上するわけではない。むしろ、中程度に大きな教師モデル（例：WideResNet-34-10）で「頑健性の飽和（robust saturation）」が観察された。
• 驚くべきことに、より広く複雑な教師モデル（例：WideResNet-34-10）から蒸留された ResNet-18 の学生モデルが、自身の教師モデルを上回る頑健性を示した。これは、敵対的訓練における頑健性の不足（robust underfitting）の兆候である。
• 教師モデルが学生モデルの約 4.5 倍の大きさである場合に、最も高い頑健性向上が達成された（例：ResNet-18 に対して WideResNet-34-10）。これは、教師-学生の容量バランスの重要性を裏付けている。
• 実証的結果から、頑健なソフトラベルが効果的な蒸留に不可欠であることが示された。非頑健なラベルとは異なり、頑健なソフトラベルは教師の真の頑健な挙動を符号化しているため、学生モデルを誤解させることがない。

Figure 2: Attention and saliency maps on adversarial examples. Teacher: WideResNet-34-10 trained by TRADES; ARD: the ResNet-18 student trained using ARD with the Teacher network; RSLAD: the ResNet-18 student trained using our RSLAD with the Teacher network. Heatmaps are generated by Grad-Cam [ 38 ]