[論文レビュー] Toward Transparent AI: A Survey on Interpreting the Inner Structures of Deep Neural Networks

Tilman Räuker, Anson Ho+2 more|arXiv (Cornell University)|Jul 27, 2022

Adversarial Robustness in Machine Learning被引用数 15

ひとこと要約

本調査は、深層ニューラルネットワーク（DNNs）における内部解釈可能性手法の包括的な分類体系を提示する。手法は、解釈対象となるネットワーク部品（重み、ニューロン、部分ネットワーク、潜在表現）と、適用タイミング（内在的か後処理的か）の二つに分類される。解釈可能性と、敵対的耐性、継続的学習、モularityといった分野との重要な関連性を特定するとともに、実用的応用の向上のため、診断ツール、ベンチマーク、敵対的テストの導入を提唱する。

ABSTRACT

The last decade of machine learning has seen drastic increases in scale and capabilities. Deep neural networks (DNNs) are increasingly being deployed in the real world. However, they are difficult to analyze, raising concerns about using them without a rigorous understanding of how they function. Effective tools for interpreting them will be important for building more trustworthy AI by helping to identify problems, fix bugs, and improve basic understanding. In particular, "inner" interpretability techniques, which focus on explaining the internal components of DNNs, are well-suited for developing a mechanistic understanding, guiding manual modifications, and reverse engineering solutions. Much recent work has focused on DNN interpretability, and rapid progress has thus far made a thorough systematization of methods difficult. In this survey, we review over 300 works with a focus on inner interpretability tools. We introduce a taxonomy that classifies methods by what part of the network they help to explain (weights, neurons, subnetworks, or latent representations) and whether they are implemented during (intrinsic) or after (post hoc) training. To our knowledge, we are also the first to survey a number of connections between interpretability research and work in adversarial robustness, continual learning, modularity, network compression, and studying the human visual system. We discuss key challenges and argue that the status quo in interpretability research is largely unproductive. Finally, we highlight the importance of future work that emphasizes diagnostics, debugging, adversaries, and benchmarking in order to make interpretability tools more useful to engineers in practical applications.

研究の動機と目的

• 深層ニューラルネットワークにおける内部解釈可能性に関する300件以上の研究を体系的に整理・調査すること。
• 現在の解釈可能性研究における厳密な評価手法や診断ツールの不足に対処すること。
• 敵対的耐性、継続的学習、ネットワーク圧縮といった主要なディープラーニング分野と解釈可能性の間の関連性を特定・強調すること。
• 現在の解釈可能性手法が実際のAI工学的文脈においてほとんど生産的でないと指摘し、工学的応用に焦点を当てた診断ツールとベンチマークへの移行を提唱すること。
• 実世界のAI導入におけるデバッグ、敵対的テスト、メカニズム的理解を支援するツールの開発を促進すること。

提案手法

• 二軸分類体系を提案：（1）解釈対象となるネットワーク部品（重み、ニューロン、部分ネットワーク、潜在表現）、（2）適用タイミング（内在的対後処理的）。
• 対象別に手法を分類する：例として、ニューロン活性度分析、重みスパarsity、部分ネットワーク解釈、表現の分離性の解釈など。
• 継続的学習（タスク固有の重み特化を通じて）や敵対的耐性（解釈可能性を活用した防御設計を通じて）といった他のディープラーニングパラダイムと解釈可能性を統合する。
• 失敗分析、バイアス検出、敵対的例の探査といった診断用途への解釈可能性の活用を強調する。
• 純粋に説明を目的とするツールから、実際のデバッグと検証を支援する診断ツールへの移行を提言する。
• 「スコープAI」という概念を導入：解釈可能性を活用して、超人的なモデル行動を逆工程で理解すること。

Figure 1: A taxonomy of inner interpretability methods and hazards associated with them. This mirrors our organization of Sections II - V . We organize methods first by what part of the network’s computational graph they help to explain: weights , neurons , subnetworks , or latent representations .

実験結果

リサーチクエスチョン

• RQ1 解釈対象となるネットワーク部品と適用タイミングに基づいて、解釈可能性手法を体系的に分類する方法は何か？
• RQ2 敵対的耐性、継続的学習、モularityといった他のディープラーニング分野と解釈可能性の間には、どのような重要な関連性があるか？
• RQ3 なぜ現在の解釈可能性研究は、実世界のAI工学的文脈において生産的でないとされるのか？
• RQ4 解釈可能性ツールを、実際のデバッグ、敵対的テスト、モデル診断にどう活用できるようにするか？
• RQ5 解釈可能性は、特に高性能なモデルにおけるメカニズム的理解や逆工程設計をどのように可能にするか？

主な発見

• 本調査では、300件を超える内部解釈可能性に関する研究を同定し、対象部品とタイミング（内在的／後処理的）に基づく包括的な分類体系を確立した。
• 解釈可能性は敵対的耐性と深く結びついており、脆弱性を特定し、耐性のあるモデル設計を支援するツールとして機能する。
• 継続的学習とモジュラーなネットワーク設計は、タスク固有の重み特化やニューロンの役割特定を通じて、解釈可能性の恩恵を受ける。
• ネットワーク圧縮やプルーニング技術は、解釈可能性によってガイドされると向上する。例えば、「説明に基づくプルーニング」のような手法では、活性度に基づく基準が用いられる。
• 後処理的解釈可能性手法（例：コンセプトボトルネックモデル、アテンション可視化）は広く使われているが、実際のデバッグに向けた診断的パワーに欠けることがしばしばである。
• 本論文は、現在の解釈可能性研究が診断的厳密性に欠けていると指摘し、ベンチマーク、敵対的テスト、工学的応用を念頭に置いた評価の導入による実用的有用性の向上を要請する。

Figure 2: Inner interpretability methods for weights can focus on (1) continual learning techniques that make weights specialize in particular tasks or (2) weight-masking techniques which learn a mask over weights as a way of discovering which weights are key for a certain task.