[論文レビュー] Interpretations Cannot Be Trusted: Stealthy and Effective Adversarial Perturbations against Interpretable Deep Learning

Eldor Abdukhamidov, Mohammed Abuhamad+3 more|arXiv (Cornell University)|Nov 29, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、画像のエッジ情報を活用することで、深層学習分類器とその関連付ける解釈モデルを同時にだます、洗練された敵対的攻撃であるAdvEdgeおよびAdvEdge+を提案する。これらの攻撃は最小限の摂動で高い成功率を達成し、従来の手法に比べて顕著に優れた転送性を示しており、解釈可能性が深層学習システムにおけるセキュリティに与える寄与は限定的であることを示している。

ABSTRACT

Deep learning methods have gained increased attention in various applications due to their outstanding performance. For exploring how this high performance relates to the proper use of data artifacts and the accurate problem formulation of a given task, interpretation models have become a crucial component in developing deep learning-based systems. Interpretation models enable the understanding of the inner workings of deep learning models and offer a sense of security in detecting the misuse of artifacts in the input data. Similar to prediction models, interpretation models are also susceptible to adversarial inputs. This work introduces two attacks, AdvEdge and AdvEdge$^{+}$, that deceive both the target deep learning model and the coupled interpretation model. We assess the effectiveness of proposed attacks against two deep learning model architectures coupled with four interpretation models that represent different categories of interpretation models. Our experiments include the attack implementation using various attack frameworks. We also explore the potential countermeasures against such attacks. Our analysis shows the effectiveness of our attacks in terms of deceiving the deep learning models and their interpreters, and highlights insights to improve and circumvent the attacks.

研究の動機と目的

• 解釈可能性が深層学習システムのセキュリティを損なう可能性があるかどうかを調査すること。
• 深層学習分類器とその解釈モデルの両方を同時にだます敵対的攻撃を開発すること。
• このような攻撃の有効性および転送性が、さまざまなアーキテクチャ、解釈モデル、攻撃フレームワークにおいてどのように評価されるかを検討すること。
• 検出技術および頑健な訓練手法を含む、これらの新規攻撃に対する対策を検討すること。

提案手法

• 攻撃は解釈モデルが強調する領域に敵対的ノイズを埋め込むエッジに配慮した摂動を用い、検出のしにくさと攻撃効果を向上させる。
• AdvEdgeおよびAdvEdge+はADV2攻撃の最適化版であり、エッジ情報を活用することで目立つ変化を最小限に抑えつつ攻撃成功率を最大化する。
• 攻撃フレームワーク（PGD、C&W、StAdv）と統合することで、柔軟かつ頑健な敵対的サンプルの生成が可能になる。
• 解釈に基づく検出は、複数の解釈モデル（例：Grad、CAM、RTS、MASK）のアトリビューションマップをマルチチャネル入力に統合することで実装され、敵対的サンプルの検出精度が向上する。
• 頑健な訓練は、正常サンプルと敵対的サンプルの間のL1解釈差の最大値を最小化するミニマックス最適化を用い、モデルの耐性を強化する。
• 実験は、ResNetおよびDenseNetを用いたImageNetおよびCIFAR-10で実施され、4つの解釈モデル（Grad、CAM、RTS、MASK）を用いる。

実験結果

リサーチクエスチョン

• RQ1 深層学習分類器とその解釈モデルの両方を同時にだます敵対的サンプルを生成可能か？
• RQ2 エッジに配慮した摂動は、解釈可能な深層学習システムにおける敵対的攻撃のステルス性と効果をどのように向上させるか？
• RQ3 AdvEdgeおよびAdvEdge+によって生成された敵対的サンプルの、異なる解釈モデルおよび攻撃フレームワーク間での転送性はいかほどか？
• RQ4 解釈可能性が深層学習システムにおける意味のあるセキュリティを提供する程度はどの程度か？
• RQ5 これらの二重モデル敵対的攻撃に対して、効果的な対策は何か？

主な発見

• AdvEdgeおよびAdvEdge+は、ImageNetでは90％を超える高い攻撃成功率を達成しながらも、摂動を最小限に抑え、極めて高いステルス性を示した。
• ADV2などの従来手法に比べ、異なる解釈モデル間での転送性が顕著に優れていた。
• Grad、CAM、MASKの複数の解釈モデルを統合したアトリビューションマップのスタッキングにより、検出精度が0.975まで向上した。
• CIFAR-10でWide-ResNetを用いた解釈に基づく頑健な訓練では、ε=0の条件下でテスト精度が0.685を維持し、敵対的摂動下でもアトリビューションマップ類似度のKendall’s Tau相関係数が0.782を示した。
• 通常訓練されたモデルではε=10/255で解釈類似度が-0.183に低下したが、敵対的訓練されたモデルは0.676の高い耐性を維持した。
• 結果から、解釈可能性がセキュリティに与える寄与は限定的であることが確認された。なぜなら、敵対的サンプルは人間の観察や解釈に基づく検査をも回避可能であるからである。