[論文レビュー] Don't trust your eyes: on the (un)reliability of feature visualizations

Robert Geirhos, R. Zimmermann+3 more|arXiv (Cornell University)|Jun 7, 2023

Cell Image Analysis Techniques被引用数 4

ひとこと要約

この論文は、特徴可視化が『だまし回路』を介して任意の意味のないパターンに操作可能であることを示し、モデルの正確性は維持されたままであるため、ニューラルネットワークにおける特徴可視化の信頼性に疑問を呈する。著者らは、特徴可視化が自然画像とは異なる方法で処理されることを示し、ネットワーク挙動の解釈に使うことの妥当性を揺るがす。また、内部表現を信頼性を持って可視化できる関数の集合は非常に限定的であるという理論的証明を提供し、解釈可能性を高めるために構造的インダクティブバイアスを強制するネットワーク設計の必要性を提起する。

ABSTRACT

How do neural networks extract patterns from pixels? Feature visualizations attempt to answer this important question by visualizing highly activating patterns through optimization. Today, visualization methods form the foundation of our knowledge about the internal workings of neural networks, as a type of mechanistic interpretability. Here we ask: How reliable are feature visualizations? We start our investigation by developing network circuits that trick feature visualizations into showing arbitrary patterns that are completely disconnected from normal network behavior on natural input. We then provide evidence for a similar phenomenon occurring in standard, unmanipulated networks: feature visualizations are processed very differently from standard input, casting doubt on their ability to "explain" how neural networks process natural images. This can be used as a sanity check for feature visualizations. We underpin our empirical findings by theory proving that the set of functions that can be reliably understood by feature visualization is extremely small and does not include general black-box neural networks. Therefore, a promising way forward could be the development of networks that enforce certain structures in order to ensure more reliable feature visualizations.

研究の動機と目的

• 特徴可視化がニューラルネットワーク挙動の解釈に広く使われているが、それが体系的にだまされうるかどうかを調査すること。
• 自然画像とは処理の仕方が異なる点に着目した、特徴可視化の健全性チェックを考案すること。
• 標準的手法を用いた場合、信頼性を持って可視化できる関数のクラスが極めて限定的であるという理論的証拠を提供すること。
• より信頼できる可視化を実現するために、構造的インダクティブバイアスを強制するニューラルネットワークアーキテクチャの開発を促すこと。

提案手法

• モデルの自然画像での正確性に影響を与えないように、特徴可視化の出力を任意の関係のないパターンに再ルーティングする『だまし回路』と呼ばれる特別なネットワークモジュールを設計・実装すること。
• これらの回路を組み込んだ変更版のInception-V1およびResNet-50を訓練し、可視化を意図したがままに制御できることを実証すること。
• 自然画像と特徴可視化のネットワーク内での処理経路を比較することで健全性チェックを実施し、内部表現に顕著な相違が生じることを明らかにすること。
• 理論的分析により、活性化最大化を用いて内部表現を信頼性を持って可視化できる関数の集合は、きわめて小さく、やや穏当な仮定のもとでも同様であると証明すること。
• 実験的比較により、特徴可視化は自然入力とは異なった方法で処理されることを示し、ネットワークの真のインダクティブバイアスを反映していない可能性があることを示すこと。
• 今後の解釈可能性研究は、信頼できる可視化を実現するために、構造的事前知識を強制するアーキテクチャ設計に注力すべきであると提言すること。

実験結果

リサーチクエスチョン

• RQ1 自然データにおけるモデルの正確性を維持したまま、特徴可視化を意図的に操作して、任意の関係のないパターン（例：モナ・リーザ）を表示させることは可能か？
• RQ2 標準的なニューラルネットワークにおいて、特徴可視化と自然画像の内部処理にどのような違いがあるか？
• RQ3 一般の深層ニューラルネットワークの解釈に特徴可視化を信頼して使う場合、理論的にどのような制限要因があるか？
• RQ4 処理経路の乖離に基づく単純な健全性チェックが、信頼できない可視化をどの程度検出できるか？
• RQ5 アーキテクチャ設計の選択によって、活性化最大化の理論的限界を克服できるか？

主な発見

• 『だまし回路』を介して、特徴可視化を任意のパターン（例：モナ・リーザ）に操作可能であり、ネットワークは依然として元のImageNet正確性を維持している。
• 改変のないネットワークにおいても、特徴可視化は自然画像とは根本的に異なる処理経路を通るため、その解釈可能性が揺るがされる。
• 理論的分析により、標準的な活性化最大化を用いた場合、ニューラルネットワーク関数のうち信頼性を持って可視化できる関数の割合は、きわめてわずかであると証明された。やや穏当な仮定のもとでも同様の結論が得られた。
• 実験的結果により、特徴可視化と自然画像が異なる内部表現を活性化することが示され、それらが同じインダクティブバイアスを反映していないことが示唆された。
• 提案された健全性チェックにより、処理経路の顕著な相違が検出された。これにより、可視化が機械的解釈に信頼できない可能性がある。
• 本研究の結果から、今後の解釈可能性手法は、信頼できる可視化を実現するため、構造的インダクティブバイアスを強制するアーキテクチャに基づいて構築されるべきであると示唆された。