[論文レビュー] The Efficacy of SHIELD under Different Threat Models

Cory Cornelius, Das, Nilaksh+4 more|arXiv (Cornell University)|Feb 1, 2019

Adversarial Robustness in Machine Learning参考文献 19被引用数 5

ひとこと要約

この論文は、攻撃者がアンサンブルアーキテクチャ、防御前処理、モデル重みをすべて把握する適応的脅威モデル下で、Adversarial robustness のための圧縮ベースの防御 Shield の評価を行う。白ボックス設定において、事前学習重みからの微調整ではなく、訓練から再び開始することで、標的 PGD 攻撃の成功率を 64.3% から 48.9% に低下させることを示しており、重み相関が堅牢性に顕著に影響することを示している。

ABSTRACT

In this appraisal paper, we evaluate the efficacy of SHIELD, a compression-based defense framework for countering adversarial attacks on image classification models, which was published at KDD 2018. Here, we consider alternative threat models not studied in the original work, where we assume that an adaptive adversary is aware of the ensemble defense approach, the defensive pre-processing, and the architecture and weights of the models used in the ensemble. We define scenarios with varying levels of threat and empirically analyze the proposed defense by varying the degree of information available to the attacker, spanning from a full white-box attack to the gray-box threat model described in the original work. To evaluate the robustness of the defense against an adaptive attacker, we consider the targeted-attack success rate of the Projected Gradient Descent (PGD) attack, which is a strong gradient-based adversarial attack proposed in adversarial machine learning research. We also experiment with training the SHIELD ensemble from scratch, which is different from re-training using a pre-trained model as done in the original work. We find that the targeted PGD attack has a success rate of 64.3% against the original SHIELD ensemble in the full white box scenario, but this drops to 48.9% if the models used in the ensemble are trained from scratch instead of being retrained. Our experiments further reveal that an ensemble whose models are re-trained indeed have higher correlation in the cosine similarity space, and models that are trained from scratch are less vulnerable to targeted attacks in the white-box and gray-box scenarios.

研究の動機と目的

• 攻撃者が防御システムの情報を徐々に把握する適応的敵対者に対する Shield の堅牢性を評価すること。
• 元の Shield 論文で検討されていなかったさまざまな脅威モデル下での強力な投影勾配降下法（Projected Gradient Descent: PGD）攻撃の有効性を評価すること。
• 特に、事前学習モデルからの微調整と訓練から再び開始するという訓練プロセスの違いが、モデル重みの相関関係と防御の堅牢性に与える影響を調査すること。
• 白ボックスおよび grays-box 環境下で、重み相関が低いアンサンブルモデルが標的敵対的攻撃に対してより耐性があるかどうかを特定すること。

提案手法

• 攻撃者が防御のすべての構成要素を把握する完全な白ボックスから、モデルアーキテクチャしか把握しないグレーゾーンまで、さまざまな脅威モデル下で Shield を実験的に評価する。
• 標的 PGD 攻撃を用いて、さまざまな脅威モデル下での成功確率を測定し、特に予測確率が最も低いクラスを標的にする攻撃に注目する。
• JPEG 圧縮画像上で学習された事前学習済み ResNet-50 v2 モデルを微調整する方法と、同じデータ上で訓練から再び開始する方法の両方で、Shield アンサンブルの2つのバージョンを学習する。
• モデルの特徴マップ間のコサイン類似度を用いて重み相関を測定し、訓練プロセスがアンサンブル多様性に与える影響を分析する。
• 敵対的例の転送性をテストするため、新たに学習されたモデルに対して攻撃を生成し、元の Shield アンサンブルに対してその効果を検証する。
• さまざまな脅威モデルと訓練プロセス下で、モデルの精度低下と攻撃成功確率を比較する。

実験結果

リサーチクエスチョン

• RQ1 攻撃者がアンサンブルアーキテクチャ、前処理、モデル重みをすべて把握する完全な白ボックス脅威モデル下で、標的 PGD 攻撃は Shield に対してどの程度の効果を示すか？
• RQ2 事前学習重みからの微調整ではなく、訓練から再び開始することで、白ボックスおよびグレーゾーン設定下での標的攻撃に対する Shield アンサンブルの堅牢性が向上するか？
• RQ3 アンサンブルモデル間の重み相関が、標的敵対的攻撃の成功率にどの程度影響を与えるか？
• RQ4 新たに学習されたモデルに対して生成された敵対的例が、グレーゾーン状況下で元の Shield アンサンブルを欺くことができるか？
• RQ5 非適応的および適応的脅威モデル下で、特に PGD などの強力な勾配ベース攻撃を用いた場合、Shield の堅牢性はどのように比較されるか？

主な発見

• 完全な白ボックス脅威モデル下で、元の Shield アンサンブル（微調整済みモデルを用いる）に対して標的 PGD 攻撃は 64.3% の成功率を示した。
• 微調整ではなく訓練から再び開始した場合、標的 PGD 攻撃の成功率は 48.9% に低下し、15.4 パーセンテージポイントの低下を示した。
• 元の Shield アンサンブルに含まれる微調整済みモデルは、コサイン類似度空間で高い重み相関を示しており、標的攻撃に対して脆弱であることがわかった。
• 訓練から再び開始したモデルは低い重み相関を示し、白ボックスおよびグレーゾーンの両方の脅威モデル下で、標的攻撃に対して著しく高い耐性を示した。
• 攻撃者がモデルアーキテクチャしか把握しないグレーゾーン脅威モデル下では、標的 PGD 攻撃は完全に失敗し、0% の成功率となったが、モデル精度は低下していた。
• Fast Gradient Method (FGM) もグレーゾーン設定下では予測を制御できず、モデル精度が低下したにもかかわらず 0% の攻撃成功率を示した。