[論文レビュー] How to Manipulate CNNs to Make Them Lie: the GradCAM Case

Tom J. Viering, Ziqi Wang+2 more|arXiv (Cornell University)|Jul 25, 2019

Adversarial Robustness in Machine Learning参考文献 34被引用数 14

ひとこと要約

この論文は、GradCAM —— 一般的に使われる畳み込みニューラルネットワーク（CNN）の説明手法 —— が、モデルの重みとアーキテクチャを敵対的に変更することで、モデルの精度を保ちつつ任意の説明を生成できる可能性があることを示している。主な貢献は、GradCAMがモデルレベルの操作に対して頑健でないことを実証した点であり、医療分野を含む高リスク分野における説明可能AIにおける深刻なセキュリティ上の脆弱性を露呈している。

ABSTRACT

Recently many methods have been introduced to explain CNN decisions. However, it has been shown that some methods can be sensitive to manipulation of the input. We continue this line of work and investigate the explanation method GradCAM. Instead of manipulating the input, we consider an adversary that manipulates the model itself to attack the explanation. By changing weights and architecture, we demonstrate that it is possible to generate any desired explanation, while leaving the model's accuracy essentially unchanged. This illustrates that GradCAM cannot explain the decision of every CNN and provides a proof of concept showing that it is possible to obfuscate the inner workings of a CNN. Finally, we combine input and model manipulation. To this end we put a backdoor in the network: the explanation is correct unless there is a specific pattern present in the input, which triggers a malicious explanation. Our work raises new security concerns, especially in settings where explanations of models may be used to make decisions, such as in the medical domain.

研究の動機と目的

• 入力レベルの摂動ではなく、モデルレベルの操作に対するGradCAMの説明の頑健性を調査すること。
• 敵対的なCNNの重みおよびアーキテクチャの変更によって、任意の望ましいGradCAMの説明を生成できることを示すこと。
• モデルの操作下で、実装不変性といった基本的な整合性チェック（sanity checks）をGradCAMが満たしているかどうかを評価すること。
• モデルと入力レベルの攻撃（例：バックドアトレーニング）を組み合わせることで、説明を乗っ取る可能性を調査すること。
• 医療分野のような安全が重要な応用分野において、説明可能AIにおけるセキュリティリスクへの認識を高めること。

提案手法

• モデルの重みとアーキテクチャを敵対的に変更し、GradCAMの注目領域を入力画像の任意の領域に再配分する。
• 勾配ベースのGradCAMを用いて、予測クラスに対する最終畳み込み層の勾配に基づき、セマンティックマップ（salience maps）を生成する。
• ImageNet（ILSVRC2012検証セット）上で、元のネットワークとほぼ同一の精度を維持するように、変更されたモデルを訓練する。
• 特定の入力パターン（例：ステッカー）が存在すると、悪意ある説明を出力するバックドア機構を導入する。通常の入力では正しく説明が保持される。
• 目的のGradCAMヒートマップと実際のヒートマップとの間のL1距離を用いて、説明の忠実度（fidelity）を測定する。
• 複数の操作タイプ（定数、笑顔、ランダム、バックドア）に対して、モデルの予測とGradCAM出力の比較を通じて、頑健性を検証する。

実験結果

リサーチクエスチョン

• RQ1 モデルの予測精度を変更せずに、重みとアーキテクチャを変更することでGradCAMの説明を操作可能か？
• RQ2 モデルが敵対的に変更された場合、GradCAMは実装不変性の公理を満たすか？
• RQ3 CNNにバックドアを埋め込むことで、正常な入力では正しく説明され、トリガーが存在する場合には悪意ある説明が出力されるようにできるか？
• RQ4 GradCAMの説明は、アーキテクチャ的および重みレベルの変更に対してどれほど感度が高く、説明の忠実度にどのような影響を与えるか？
• RQ5 他の勾配ベースの説明手法も、同様にモデルレベルの操作に対して脆弱であるか？

主な発見

• 変更済みモデル（T1–T4）は、ILSVRC2012検証セット上で元のネットワークとほぼ同一の精度を維持しており、すべてのバリアントで ||yo − yn||∞ < 0.00001 を満たしている。
• モデル出力に最小限の変更があるにもかかわらず、GradCAMの説明は任意の目的のターゲットに合わせて操作可能であり、すべての操作タイプで ||ĨT − Ĩn||1 < 0.01 を達成している。
• バックドアを搭載したバージョン（T4）は、正常な入力では正しく説明を出力し、トリガーが存在する入力では悪意ある説明を出力しており、L1距離は0.00006であった。
• 本研究は、同じ予測結果であっても、モデルが操作された場合に同じ説明が得られないことから、GradCAMが実装不変性の公理を満たさないことを示している。
• 結果から、GradCAMはモデルパラメータおよびアーキテクチャに関する検証されていない仮定に依存しており、敵対的なモデル改ざんに対して脆弱であることが示唆された。
• 著者らは、同様の攻撃が、∂y/∂x に依存する他の勾配ベースの説明手法に対しても拡張可能である可能性を示唆している。