[論文レビュー] Foiling Explanations in Deep Neural Networks

Snir Vitrack Tamam, Raz Lapid+1 more|arXiv (Cornell University)|Nov 27, 2022

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

本稿では、モデルの勾配や内部構造にアクセスせずに、モデルのログティトスと説明マップのみを用いて深層ニューラルネットワークの説明マップを操作するブラックボックス敵対的攻撃、AttaXAIを提案する。この手法は、最小限で人間には検出できない入力の摂動を用いて、説明マップを任意のターゲットマップへと再配向させることに成功し、実世界のデータ制限下でもXAI手法が操作に対して極めて脆弱であることを示している。

ABSTRACT

Deep neural networks (DNNs) have greatly impacted numerous fields over the past decade. Yet despite exhibiting superb performance over many problems, their black-box nature still poses a significant challenge with respect to explainability. Indeed, explainable artificial intelligence (XAI) is crucial in several fields, wherein the answer alone -- sans a reasoning of how said answer was derived -- is of little value. This paper uncovers a troubling property of explanation methods for image-based DNNs: by making small visual changes to the input image -- hardly influencing the network's output -- we demonstrate how explanations may be arbitrarily manipulated through the use of evolution strategies. Our novel algorithm, AttaXAI, a model-agnostic, adversarial attack on XAI algorithms, only requires access to the output logits of a classifier and to the explanation map; these weak assumptions render our approach highly useful where real-world models and data are concerned. We compare our method's performance on two benchmark datasets -- CIFAR100 and ImageNet -- using four different pretrained deep-learning models: VGG16-CIFAR100, VGG16-ImageNet, MobileNet-CIFAR100, and Inception-v3-ImageNet. We find that the XAI methods can be manipulated without the use of gradients or other model internals. Our novel algorithm is successfully able to manipulate an image in a manner imperceptible to the human eye, such that the XAI method outputs a specific explanation map. To our knowledge, this is the first such method in a black-box setting, and we believe it has significant value where explainability is desired, required, or legally mandatory.

研究の動機と目的

• モデルの内部構造がアクセス不可能な実世界のブラックボックス環境において、説明可能AI（XAI）手法が敵対的操作に対してどれほど脆弱であるかを調査すること。
• 元のモデルの分類出力を維持しつつ、説明マップを任意のターゲットマップへ再配向できる実用的な攻撃手法を開発すること。
• 特に勾配ベースと非勾配ベースのXAI手法の違いに注目し、さまざまなXAI技術がこうした攻撃に対してどれほど堅牢であるかを評価すること。
• わずかで人間には検出できない摂動ですら、説明マップを著しく変更できることを示し、安全・信頼性が求められる応用分野におけるXAIへの信頼を損なう要因となること。

提案手法

• AttaXAIは、モデルの出力ログティトスと説明マップをフィードバックとして用い、説明マップをターゲットマップへ再配向させる入力摂動を段階的に最適化するための進化的戦略を採用する。
• 攻撃はブラックボックスの脅威モデルに従い、モデルの重み、勾配、アーキテクチャにアクセスする必要がない。最終的な分類確率と説明マップのみを必要とする。
• 摂動は、集団ベースの最適化プロセスを通じて生成・改善され、適応度は生成された説明マップとターゲットマップのL2距離に基づいて評価される。
• 摂動の大きさを制限することで、出力ログティトスに最小限の影響を与えるようにし、元のモデルの予測を維持する。
• この攻撃はXAIに依存しない（XAI-agnostic）ため、Grad-CAM、LRP、ガイドドバックプロパゲーションなどの異なる説明手法にかかわらず適用可能である。
• 実験は、VGG16、MobileNet、Inception-v3モデルを用いてCIFAR100およびImageNetで実施され、効果と計算コストのバランスを取るために50,000回のクエリ予算が設定された。

実験結果

リサーチクエスチョン

• RQ1 モデルの勾配や内部パrameterにアクセスできない状況下でも、深層ニューラルネットワークの説明マップを任意のターゲットへ操作できるか？
• RQ2 ログティトスと説明出力のみに依存するブラックボックス攻撃が、望ましいパターンへ説明マップを再配向させるのにどれほど有効であるか？
• RQ3 どのようなXAI手法が最も・最も脆弱であり、その理由は何か？
• RQ4 説明マップを完全に制御しつつも、摂動が人間には検出できないようにできる範囲はどの程度か？
• RQ5 モデルやデータセットが異なっても、モデル固有のチューニングなしに攻撃を一般化できるか？

主な発見

• AttaXAIは、最小限の摂動で、すべてのテスト対象モデルとデータセットにおいて、ターゲットマップと高い類似度で説明マップを再配向させることに成功した。
• 摂動の影響が最小限であるため、元のモデルの出力ログティトスはほぼ同一であり、モデルの意思決定が説明の操作にもかかわらず変化していないことが確認された。
• 勾配ベースのXAI手法（例：Gradient、Grad-CAM）は最も脆弱であった一方、ガイドドバックプロパゲーションは最も堅牢であった。
• CIFAR100およびImageNetの両方で高い成功率を達成し、異なるアーキテクチャやデータ分布への一般化が示された。
• 50,000回のクエリで高い成功率が得られたため、中程度の計算コストで効果的な操作が可能であることが示された。
• 結果から、XAIシステムに根本的な脆弱性が存在することが明らかになった。つまり、モデルの予測を変更せずに説明を偽造できるため、XAIを用いた意思決定監査や防御機構への信頼が損なわれる。