[論文レビュー] On the benefits of knowledge distillation for adversarial robustness

Javier Maroto, Guillermo Ortiz-Jiménez+1 more|arXiv (Cornell University)|Mar 14, 2022

Adversarial Robustness in Machine Learning被引用数 10

ひとこと要約

本論文では、洗練された教師ネットワークからの知識蒸留を用いて、最先端モデルのクリーン精度およびロバスト精度を向上させる、敵対的知識蒸留（AKD）を提案する。学生モデルの訓練中に、クリーンラベルと敵対的訓練済み教師の出力を混合することで、特に学習が難しいサンプルにおいて、キャリブレーションと一般化性能が向上し、標準的な敵対的訓練および先行する蒸留手法を上回る性能を発揮する。

ABSTRACT

Knowledge distillation is normally used to compress a big network, or teacher, onto a smaller one, the student, by training it to match its outputs. Recently, some works have shown that robustness against adversarial attacks can also be distilled effectively to achieve good rates of robustness on mobile-friendly models. In this work, however, we take a different point of view, and show that knowledge distillation can be used directly to boost the performance of state-of-the-art models in adversarial robustness. In this sense, we present a thorough analysis and provide general guidelines to distill knowledge from a robust teacher and boost the clean and adversarial performance of a student model even further. To that end, we present Adversarial Knowledge Distillation (AKD), a new framework to improve a model's robust performance, consisting on adversarially training a student on a mixture of the original labels and the teacher outputs. Through carefully controlled ablation studies, we show that using early-stopping, model ensembles and weak adversarial training are key techniques to maximize performance of the student, and show that these insights generalize across different robust distillation techniques. Finally, we provide insights on the effect of robust knowledge distillation on the dynamics of the student network, and show that AKD mostly improves the calibration of the network and modify its training dynamics on samples that the model finds difficult to learn, or even memorize.

研究の動機と目的

• 知識蒸留がモデル圧縮を超えてロバスト性を向上させられるかどうか、特に教師と学生が同じ容量である場合に検証すること。
• ラベル混合、早期停止、アンサンブル蒸留などの異なる蒸留戦略が、敵対的ロバスト性およびクリーン精度に与える影響を理解すること。
• AKDが訓練ダイナミクスおよびモデルキャリブレーション（特に困難なサンプルや敵対的サンプルにおいて）にどのように影響を与えるかを分析すること。
• 最先端モデルにおけるロバスト性向上に寄与する、実用的で一般化可能なガイドラインを提供すること。

提案手法

• AKDは、事前に敵対的訓練されたロバストな教師ネットワークからの出力とクリーンラベルの混合を用いて、学生モデルを訓練する。
• ラベル混合を採用し、クロスエントロピー損失（クリーンラベル）と蒸留損失（教師出力）を組み合わせ、バランスを制御するハイパーパrameterを導入する。
• 教師ネットワークに対して早期停止を適用し、一般化性能を最大化する。過剰訓練は一般化性能を低下させるためである。
• 標準モデルとロバストモデルを組み合わせた教師のアンサンブルを用いることで、性能向上を図り、クリーン精度とロバスト性のトレードオフの範囲を拡大する。
• 教師に対して小スケールのε（ε-small）敵対的訓練を適用することで、クリーン精度をさらに向上させつつ、一部のロバスト性を維持する。
• 特徴量の軌道間のコサイン類似度を用いた訓練ダイナミクスの分析により、AKDが困難なサンプルでのキャリブレーションを向上させ、簡単なサンプルでの過剰な自信（overconfidence）を低減することが明らかになった。

実験結果

リサーチクエスチョン

• RQ1 知識蒸留は、教師と学生が同じ容量であっても、モデル圧縮を越えて最先端モデルのロバスト性を向上させられるか？
• RQ2 早期停止、ラベル混合、アンサンブル蒸留といった技術が、敵対的環境下での学生モデルの性能にどのように影響を与えるか？
• RQ3 標準教師から蒸留するのと、敵対的訓練済み教師から蒸留するのとで、クリーン精度およびロバスト精度にどのような影響があるか？
• RQ4 AKDは、簡単なサンプルと困難なサンプル（特に敵対的サンプル）における学生モデルの訓練ダイナミクスおよび自信キャリブレーションをどのように変化させるか？
• RQ5 標準的な敵対的訓練と比較して、AKDは敵対的サンプルおよび分布外サンプルにおける一般化性能をどの程度向上させるか？

主な発見

• AKDは学生モデルのクリーン精度およびロバスト精度を向上させ、特にWideResNet-28のような大規模モデルで顕著な向上を示し、CIFAR-10において∞ノルムの摂動8/255の条件下で61.23%のロバスト精度を達成した。
• 敵対的訓練済み教師から蒸留するとロバスト性が向上する一方、標準教師から蒸留するとクリーン精度が向上する。さらに、教師に対して小ε敵対的訓練を施すことで、両方の指標が向上した。
• 早期停止された教師は一貫して最高の後続訓練性能を示し、最適な事前学習エポックはモデルおよびデータセットに依存することが示された。
• 複数の教師をアンサンブル化することで、特に標準モデルとロバストモデルを組み合わせた場合、さらなる性能向上が得られ、クリーン精度とロバスト性の間の柔軟なトレードオフが可能になった。
• AKDは、簡単なサンプルでの自信を低下させ、困難なサンプルや敵対的サンプルでの自信を高めることで、モデルキャリブレーションを改善し、一般化性能およびロバスト性の向上と相関した。
• 訓練ダイナミクスにおいて、AKDは特に敵対的サンプルにおいて、学生と教師の軌道の乖離を顕著に増大させ、困難な領域での学習が向上していることを示唆している。