[論文レビュー] Towards falsifiable interpretability research

Matthew L. Leavitt, Ari S. Morcos|arXiv (Cornell University)|Oct 22, 2020

Explainable Artificial Intelligence (XAI)参考文献 97被引用数 28

ひとこと要約

本論文は、深層ニューラルネットワーク（DNNs）における検証可能な解釈可能性研究のフレームワークを提案する。これは、検証されていない直感や可視化に過度に依存する問題に対処するものである。弱い仮説から強い仮説へと至る仮説の階層を導入し、曖昧な直感を検証可能で反証可能な予測に変換する方法を示している。主な貢献は、解釈可能性研究が根拠に基づいた洞察を生み出すのを保証する体系的な手法を提供することであり、誤った結論を導くのを防ぐものである。

ABSTRACT

Methods for understanding the decisions of and mechanisms underlying deep neural networks (DNNs) typically rely on building intuition by emphasizing sensory or semantic features of individual examples. For instance, methods aim to visualize the components of an input which are "important" to a network's decision, or to measure the semantic properties of single neurons. Here, we argue that interpretability research suffers from an over-reliance on intuition-based approaches that risk-and in some cases have caused-illusory progress and misleading conclusions. We identify a set of limitations that we argue impede meaningful progress in interpretability research, and examine two popular classes of interpretability methods-saliency and single-neuron-based approaches-that serve as case studies for how overreliance on intuition and lack of falsifiability can undermine interpretability research. To address these concerns, we propose a strategy to address these impediments in the form of a framework for strongly falsifiable interpretability research. We encourage researchers to use their intuitions as a starting point to develop and test clear, falsifiable hypotheses, and hope that our framework yields robust, evidence-based interpretability methods that generate meaningful advances in our understanding of DNNs.

研究の動機と目的

• 解釈可能性研究における直感や可視化への過度な依存を是正すること。これは、誤った結論を導くリスクを伴う。
• 現在の解釈可能性手法における、検証可能な仮説の欠如、検証されていない仮定、および不十分な定量化といった主な障壁を特定すること。
• 直感的な仮説を明確で検証可能な科学的文に変換する構造的フレームワークを提供すること。
• 因果的検証、ベースライン、代替説明の強調を通じて、解釈可能性研究の厳密性を高めること。
• 科学的検証に基づいて、視覚的または意味的直感ではなく、より信頼性が高く影響力のあるDNNメカニズムの洞察を得ることを可能にすること。

提案手法

• 弱い仮説、平均的な仮説、強い仮説という仮説の階層を提案。曖昧な直感から始まり、検証可能で反証可能な予測へと発展させる。
• 「重要」といった曖昧な用語を、『特徴選択的ニューロンを除去するとテスト精度が低下する』といった因果的で測定可能な主張に置き換える。
• 必要性をテストするためのアブレーション実験をコアな手法として導入。特徴選択性の強さに応じた精度変化に関する明確な予測を提示する。
• 軸に沿った方向と非軸に沿った方向の特徴選択性の方向に対するアブレーション効果を比較することで、単一ニューロンと分散表現の寄与を区別する。
• たとえば、確率的レベルのニューロン数といったベースラインを用いて、観察された効果がランダムな期待値を上回っているかどうかを評価する。
• 科学的妥当性を高め、結果の過剰解釈を防ぐために、代替仮説や競合する説明を組み込む。

実験結果

リサーチクエスチョン

• RQ1 現在の解釈可能性研究における主な障壁は何か。それは、強力な視覚的または意味的直感があるにもかかわらず、誤った結論を導く原因となっている。
• RQ2 DNN挙動に関する曖昧で直感に基づく仮説を、検証可能で反証可能な科学的文に変換するにはどうすればよいか。
• RQ3 サリエンシーマップや単一ニューロンの解釈が、実際のモデル挙動を反映しているのか、それとも可視化や設計に起因するアーチファクトに過ぎないのか。
• RQ4 単一ニューロンと分散表現の寄与を区別するには、どのような実験設計が必要か。
• RQ5 解釈可能性手法が視覚的に妥当であるだけでなく、科学的に厳密で実証的に検証可能であることを保証するにはどうすればよいか。

主な発見

• 多くの解釈可能性手法は、サリエンシーマップや特徴選択性を持つニューロンが真のモデルメカニズムを反映しているという検証されていない仮定を抱えている。
• 実証的検証なしに可視化や意味的直感に依存することは、誤った進展や誤った結論を生む。
• 強い仮説は明確で反証可能な予測を含む必要がある。たとえば、特徴選択性を持つニューロンを除去するとテスト精度が著しく低下する、といった測定可能な低下予測である。単にそのようなニューロンの存在を主張するのではなく。
• このフレームワークは、単一ニューロンと分散表現の必要性と十分性を分離できることを示している。
• 軸に沿わない特徴選択性を持つ方向のアブレーションは、単一ニューロンのアブレーションよりも大きな精度低下をもたらすことがある。これは、ネットワークが分散表現に依存している可能性を示唆している。
• このフレームワークにより、研究者は競合する仮説をテストし、観察された効果がベースライン期待値を上回っているかどうかを評価できる。これにより、解釈可能性研究における科学的厳密性が向上する。