[論文レビュー] Distillation as a Defense to Adversarial Perturbations against Deep Neural Networks

Nicolas Papernot, Patrick McDaniel+3 more|arXiv (Cornell University)|Nov 13, 2015

Adversarial Robustness in Machine Learning被引用数 8

ひとこと要約

この論文は、教師ネットワークから生徒ネットワークへのソフトラベルによる知識伝達を通じて、モデルの意思決定境界を平滑化することにより、敵対的摂動に対する深層ニューラルネットワークの耐性を向上させる訓練技術「防御的蒸留（defensive distillation）」を提案する。この手法により、敵対的例を生成する際に使用される勾配の大きさが低減され、MNISTでは攻撃成功確率が95%から0.5%未満に、CIFAR-10では5%未満に低下する一方で、元の精度は維持される。

ABSTRACT

Deep learning algorithms have been shown to perform extremely well on many classical machine learning problems. However, recent studies have shown that deep learning, like other machine learning techniques, is vulnerable to adversarial samples: inputs crafted to force a deep neural network (DNN) to provide adversary-selected outputs. Such attacks can seriously undermine the security of the system supported by the DNN, sometimes with devastating consequences. For example, autonomous vehicles can be crashed, illicit or illegal content can bypass content filters, or biometric authentication systems can be manipulated to allow improper access. In this work, we introduce a defensive mechanism called defensive distillation to reduce the effectiveness of adversarial samples on DNNs. We analytically investigate the generalizability and robustness properties granted by the use of defensive distillation when training DNNs. We also empirically study the effectiveness of our defense mechanisms on two DNNs placed in adversarial settings. The study shows that defensive distillation can reduce effectiveness of sample creation from 95% to less than 0.5% on a studied DNN. Such dramatic gains can be explained by the fact that distillation leads gradients used in adversarial sample creation to be reduced by a factor of 10^30. We also find that distillation increases the average minimum number of features that need to be modified to create adversarial samples by about 800% on one of the DNNs we tested.

研究の動機と目的

• セキュリティが重要な応用分野において、深層ニューラルネットワークを誤って誘導する可能性がある敵対的摂動の増大する脅威に対処すること。
• ネットワークアーキテクチャの変更なしに元の精度を損なわずにモデルの耐性を向上させる防御メカニズムを開発すること。
• 知識蒸留が敵対的例に対する汎用的防御として再利用可能かどうかを検討すること。
• 蒸留が勾配感度および敵対的耐性に与える理論的・実験的影響を分析すること。

提案手法

• 事前に訓練された教師ネットワークからのソフトラベル（温度調整付き確率）を用いて、生徒ネットワークを訓練することで、訓練中に適応的蒸留が適用される。
• 蒸留プロセスにより、入力空間における勾配の大きさが低減され、小さな摂動がモデルの予測を変える効果が小さくなる。
• 出力確率をなめらかにするために温度パラメータが使用され、意思決定境界を滑らかにし、入力摂動に対する感度を低減する。
• 生徒ネットワークは教師のソフトラベルに合わせて訓練されるため、より頑健で一般化されたモデルが得られる。
• 防御は訓練後に行われ、推論やモデルアーキテクチャの変更を必要としない。
• FGSMやその他の敵対的生成技術を用いた攻撃条件下で、標準データセット（MNIST、CIFAR-10）に対して評価が行われる。

実験結果

リサーチクエスチョン

• RQ1 知識蒸留を、深層ニューラルネットワークにおける敵対的例に対する防御メカニズムとして再利用可能か？
• RQ2 防御的蒸留は、DNNの勾配の大きさおよび入力摂動に対する感度にどのように影響するか？
• RQ3 防御的蒸留は、FGSMのような敵対的攻撃アルゴリズムの成功確率をどの程度低減するか？
• RQ4 防御的蒸留は、耐性の向上と同時に元のモデルの精度を維持するか？
• RQ5 防御的蒸留は、さまざまなDNNアーキテクチャおよびデータセットに一般化して適用可能か？

主な発見

• 防御的蒸留により、MNISTデータセットにおける敵対的サンプル作成の成功確率が95%から0.5%未満に低下した。
• CIFAR-10データセットでは、攻撃成功確率が5%未満に低下したが、元のモデルの精度は維持された。
• この手法により、敵対的攻撃で使用される勾配の大きさが10^30倍低減され、勾配ベースの攻撃アルゴリズムの効果が著しく低下した。
• テストされた1つのDNNにおいて、敵対的サンプルを作成するために変更する必要のある平均最小特徴数が約800%増加した。
• 攻撃者が防御的蒸留が使用されていることを知っていても、この防御は有効である。なぜなら、攻撃可能なパターンやサイドチャnelを生成しないからである。
• この技術は最小限の訓練オーバーヘッドを伴い、アーキテクチャの変更なしに既存のDNNに適用可能である。