[論文レビュー] Explaining Deep Neural Networks

Oana-Maria Camburu|arXiv (Cornell University)|Oct 4, 2020

Explainable Artificial Intelligence (XAI)参考文献 128被引用数 22

ひとこと要約

本博士論文は、深層ニューラルネットワークを説明するための2つの主要な方向性、すなわち特徴に基づく後処理説明手法と、自然言語による説明を生成する自己説明型モデルの両者を調査する。本研究では、後処理手法の忠実性を検証するフレームワークを提案し、57万件の人が書いた説明を含むe-SNLIデータセットを構築し、一貫性のない自然言語説明を検出するための敵対的フレームワークを提案することで、現在のモデルに深刻な欠陥が存在することを明らかにした。

ABSTRACT

Deep neural networks are becoming more and more popular due to their revolutionary success in diverse areas, such as computer vision, natural language processing, and speech recognition. However, the decision-making processes of these models are generally not interpretable to users. In various domains, such as healthcare, finance, or law, it is critical to know the reasons behind a decision made by an artificial intelligence system. Therefore, several directions for explaining neural models have recently been explored. In this thesis, I investigate two major directions for explaining deep neural networks. The first direction consists of feature-based post-hoc explanatory methods, that is, methods that aim to explain an already trained and fixed model (post-hoc), and that provide explanations in terms of input features, such as tokens for text and superpixels for images (feature-based). The second direction consists of self-explanatory neural models that generate natural language explanations, that is, models that have a built-in module that generates explanations for the predictions of the model.

研究の動機と目的

• 特徴に基づく後処理説明手法が、モデルの意思決定を忠実に捉えられる限界を調査すること。
• モデル解釈性の知見を活用して、後処理説明手法の忠実性を検証する汎用フレームワークを構築すること。
• 自然言語推論のための、人間が書いた自然言語説明のスケールの大きなデータセットを収集・分析すること。
• 自己説明型ニューラルモデルが生成する一貫性のない自然言語説明を特定・検出すること。
• シーケンスレベルでの一貫性のない説明を引き起こすように設計された、敵対的フレームワークを提案すること。

提案手法

• 特定の種類の解釈可能なモデルを用いて、後処理説明手法がターゲットモデルの意思決定プロセスを正確に反映しているかどうかを検証するフレームワークを提案する。
• 感情分析タスクにこの検証フレームワークを適用し、3つの代表的な説明手法（例：Grad-CAM、LIME、LRP）を検証するための健全性テストを実施する。
• SNLIデータセットの説明に、説明テンプレートを追加することで、約57万件の人が書いた自然言語説明を収集し、e-SNLIデータセットを構築する。
• 敵対的テスト用に再利用可能な説明テンプレート（含意、中立、矛盾）を同定し、一貫性のない説明ペアを体系的に生成する。
• 同じ入力に対して一貫性のない説明（例：「犬がいる」および「犬がいない」）を生成するように設計された、正確なターゲットシーケンスを生成する敵対的攻撃フレームワークを設計する。
• e-SNLI上で最先端のモデルにこの敵対的フレームワークを適用し、一貫性のない説明を多数生成できることを実証した。

実験結果

リサーチクエスチョン

• RQ1 1つの予測に対して複数の妥当な真値特徴ベースの説明が存在するのか。また、現在の後処理手法は、明示的に認識せずに、異なる種類の説明を暗黙的に標的としているのか。
• RQ2 異なるタスクやモデルにわたって、後処理説明手法の忠実性を検証する汎用的で即席のフレームワークを開発できるか。
• RQ3 ニューラルモデルがその予測に対して正しいかつ一貫性のある自然言語説明を生成できる程度はどの程度か。
• RQ4 学習時に与えられた自然言語説明は、テスト時に忠実な説明を生成する能力にどのような影響を与えるか。
• RQ5 正確で一貫性のない自然言語説明を引き起こすように、敵対的攻撃を設計できるか。また、このような一貫性の欠如は、最先端モデルにどれほど広がっているか。

主な発見

• 後処理説明手法は、明示的な認識なしに、異なる種類の真値説明を標的としており、1つの説明ではモデルの意思決定プロセスを完全に捉えていない。
• 提案された検証フレームワークは、代表的な説明手法に見られる忠実性の問題を効果的に特定した。健全性テストは https://github.com/OanaMariaCamburu/CanITrustTheExplainer で公開されている。
• e-SNLIデータセットは、SNLIデータセットの約57万件の人が書いた自然言語説明を提供しており、https://github.com/OanaMariaCamburu/e-SNLI で公開されている。
• 実験の結果、現在の自己説明型モデルは、同じ画像に対して「犬がいる」と「犬がいない」という一貫性のない説明を生成することがあることが判明した。
• 敵対的フレームワークにより、最先端モデルに顕著な数の不一致説明が検出された。これにより、このような欠陥が広く存在し、検出可能であることが示された。
• 本研究では、説明の監視学習を行ったモデルですら、依然として矛盾する説明を生成することが判明した。これにより、説明生成における堅牢性の検証の必要性が強調された。