[論文レビュー] Deep Argumentative Explanations

Emanuele Albini, Piyawat Lertvittayakumjorn+2 more|arXiv (Cornell University)|Dec 10, 2020

Explainable Artificial Intelligence (XAI)参考文献 20被引用数 4

ひとこと要約

本稿では、計算的論証を用いてニューラルネットワークの内部構造を、支持/攻撃関係を有する論証としてモデル化することで、解釈可能で階層的な説明を生成する新規フレームワークであるDeep Argumentative Explanations (DAXs) を提案する。DAXsは、モデル内部の高精度な再現性、低コストの計算負荷を実現し、LIME や SHAP と比較して、特に信頼性やモデルの推論プロセスへの洞察を得る能力において優れた解釈性と人間の判断との整合性を示す。

ABSTRACT

Despite the recent, widespread focus on eXplainable AI (XAI), explanations computed by XAI methods tend to provide little insight into the functioning of Neural Networks (NNs). We propose a novel framework for obtaining (local) explanations from NNs while providing transparency about their inner workings, and show how to deploy it for various neural architectures and tasks. We refer to our novel explanations collectively as Deep Argumentative eXplanations (DAXs in short), given that they reflect the deep structure of the underlying NNs and that they are defined in terms of notions from computational argumentation, a form of symbolic AI offering useful reasoning abstractions for explanation. We evaluate DAXs empirically showing that they exhibit deep fidelity and low computational cost. We also conduct human experiments indicating that DAXs are comprehensible to humans and align with their judgement, while also being competitive, in terms of user acceptance, with some existing approaches to XAI that also have an argumentative spirit.

研究の動機と目的

• 既存のXAI手法が入力-出力の影響に限定されており、内部の推論構造を明らかにしないという透明性の欠如に対処する。
• ニューラルネットワークの構成要素を支持・攻撃関係を有する論証としてモデル化することで、計算的論証（記号的AI）とディープラーニングを統合する。
• モデルの深層的・階層的な推論構造を反映する説明を生成するフレームワークを構築する。
• DAXsの再現性、効率性、人間による理解可能性を、LIME や SHAP といった既存のXAI手法と比較して、実証的に評価する。
• DAXsが人間の判断と整合しており、平坦な説明よりも洞察力に富み、信頼性が高いと認識されることを検証する。

提案手法

• DAXsは、訓練済みのニューラルネットワークから一般化された論証フレームワーク（GAF）を抽出することで生成され、ニューロンまたはニューロンの集合を論証として扱う。
• 支持・攻撃関係である弁証的関係は、活性化パターンと関連性伝播（例：LRPを用いて）に基づいて論証間で定義される。
• 論証の弁証的強度は、定量的指標（例：LRPスコア）から導出され、モデルの挙動と整合し、重要な弁証的性質を満たす。
• フレームワークは、ユーザーの認知的ニーズに応じてパラメータχを用いてカスタマイズ可能な、会話的および構造的フォーマットを複数サポートする。
• 異なるアーキテクチャ（例：テキスト用のCNN）で、異なるGAFとその下位のモデル出力から導出される意味論的解釈を用いて、3つのDAXインスタンスを実装した。
• 説明は、自動評価指標（深層的再現性、複雑性）と人間による研究（理解可能性、整合性、信頼性）の両方で評価された。

実験結果

リサーチクエスチョン

• RQ1 DAXsはニューラルネットワークの内部構造を的確に反映しており、モデルの推論プロセスの高精度な再現性を確保しているか？
• RQ2 DAXsは、豊富で階層的な説明を提供しつつも、低コストの計算複雑性を維持しているか？
• RQ3 DAXsにおける中間的論証と予測クラスとの間の支持関係は、人間の判断と整合しているか？
• RQ4 DAXsにおける個々の語と中間的論証との間の支持関係は、人間の判断と整合しているか？
• RQ5 ユーザースタディにおいて、DAXsはLIME や SHAP よりも信頼性を高め、より優れた洞察を提供しているか？

主な発見

• DAXsは深層的再現性を示しており、その内部の論証的構造が、下位のニューラルネットワークの推論プロセスを正確に反映している。
• DAXsは低コストの計算複雑性を示しており、さまざまなニューラルネットワークアーキテクチャへの展開に適している。
• RQ4では、参加者の96.0% ± 0.4%がn-gramが支持するクラスを正しく特定した。これは、中間的論証の支持関係が人間の判断と整合していることを確認する。
• RQ5では、参加者の85.0% ± 0.7%が、最も強く支持または攻撃する語を正しく特定した。これは、DAXの支持関係の意味的整合性を裏付ける。
• DAXsは、CNNの内部挙動に関する洞察を提供する点で、LIME や SHAP よりも顕著に優れていた（p < 0.004 および p < 0.006）。
• DAXsはSHAPより顕著に高い信頼性を生み出した（p < 0.002）。一方、LIMEとの比較では信頼性の優位性は統計的に有意ではなかった（p = 0.32）。これは、参加者の専門知識レベルの影響による可能性が高い。