[論文レビュー] Ensemble Methods as a Defense to Adversarial Perturbations Against Deep Neural Networks

Thilo Strauss, Markus Hanselmann+2 more|arXiv (Cornell University)|Sep 11, 2017

Adversarial Robustness in Machine Learning参考文献 22被引用数 77

ひとこと要約

論文は敵対的摂動に対する唯一の防御としてアンサンブル手法を用いることを調査し、アンサンブルが未摺動データの精度と攻撃に対する頑健性の両方をMNISTと CIFAR-10で改善することを示す。

ABSTRACT

Deep learning has become the state of the art approach in many machine learning problems such as classification. It has recently been shown that deep learning is highly vulnerable to adversarial perturbations. Taking the camera systems of self-driving cars as an example, small adversarial perturbations can cause the system to make errors in important tasks, such as classifying traffic signs or detecting pedestrians. Hence, in order to use deep learning without safety concerns a proper defense strategy is required. We propose to use ensemble methods as a defense strategy against adversarial perturbations. We find that an attack leading one model to misclassify does not imply the same for other networks performing the same task. This makes ensemble methods an attractive defense strategy against adversarial attacks. We empirically show for the MNIST and the CIFAR-10 data sets that ensemble methods not only improve the accuracy of neural networks on test data but also increase their robustness against adversarial perturbations.

研究の動機と目的

• 安全 critical tasksで使用される深層ニューラルネットワークに対する敵対的摂動に対する頑健な防御の必要性を動機づける。
• クリーンデータの精度と敵対的攻撃への頑健性の両方を改善できる防御戦略としてアンサンブル手法を提案する。
• MNISTとCIFAR-10に対してFGSMやBIMのような一般的な攻撃に対してアンサンブルを系統的に評価する。
• 敵対的訓練や防御蒸留（defensive distillation）など既存の防御と組み合わせを含め、アンサンブル防御を比較する。
• アンサンブル防御の計算複雑性とメモリの実用的なトレードオフを論じる。

提案手法

• ランダム初期化、アーキテクチャ的多様性、バギング、または訓練データにガウスノイズを加えることで10個の分類器のアンサンブルを防御として用いる。
• Gradients Grad.1（クラスごとの勾配）およびGrad.2（アンサンブル全体の平均勾配）を用いたFGSMとBIMによる攻撃評価を実施し、頑健性を検証する。
• 指定されたアーキテクチャを用いたシンプルなMNISTおよびCIFAR-10ネットワークを訓練し、クリーンデータと攻撃データに対する精度を評価する。
• ランダム初期化、類似アーキテクチャ、バギング、ガウシアンノイズに対するアンサンブル戦略を単一モデルと比較する。
• 敵対的訓練または防御蒸留との組み合わせが頑健性と精度に与える加法的効果を評価する。

実験結果

リサーチクエスチョン

• RQ1 アンサンブル手法のみで、クリーンデータの精度を犠牲にすることなくDNNの敵対的摂動に対する頑健性を向上させることができるか？
• RQ2 MNISTとCIFAR-10全体でFGSMとBIM攻撃に対して最も頑健性を示すアンサンブル戦略はどれか？
• RQ3 アンサンブルは敵対的訓練や防御蒸留とどう比較され、組み合わせはさらなる利益またはコストを提供するか？
• RQ4 アンサンブルに対して攻撃勾配（Grad.1 vs Grad.2）は敵対的効果にどのように影響するか？

主な発見

• MNISTとCIFAR-10を横断してFGSMとBIM攻撃下でアンサンブルは単一分類器より優れている。
• 訓練中のガウシアンノイズは、試験したアンサンブル戦略の中で敵対的摂動に対する最良の防御をもたらす。
• Baggingは一般的に頑健性の向上を強力に提供するが、クリーンデータの精度にわずかな損失を伴うことがある。
• 敵対的訓練と組み合わせると頑健性がさらに改善される一方、防御蒸留との組み合わせは標準的なアンサンブルを一貫して上回らない。
• クリーンデータ上で、アンサンブルは通常、単一モデルと比較して精度を維持またはわずかに向上させる。
• Grad.1でのBIM下では、MNISTで89–98%、CIFAR-10で68–73%のアンサンブルの頑健性を達成し、単一モデルよりも大幅な利得を示す。