[論文レビュー] DAX: deep argumentative eXplanation for neural networks

Emanuele Albini, Piyawat Lertvittayakumjorn+2 more|arXiv (Cornell University)|Dec 10, 2020

Explainable Artificial Intelligence (XAI)被引用数 6

ひとこと要約

DAX は、計算的議論を用いてニューラルネットワークの透明性を高める深層的議論的説明フレームワークを導入し、人間が理解できる解釈可能な説明を提供する。実験的評価により、DAX は説明の安定性を向上させ、計算コストを低減し、人間の判断と整合性を保つことが示され、既存の議論的 XAI メソッドを上回るユーザ受容性を達成した。

ABSTRACT

Despite the rapid growth in attention on eXplainable AI (XAI) of late, explanations in the literature provide little insight into the actual functioning of Neural Networks (NNs), significantly limiting their transparency. We propose a methodology for explaining NNs, providing transparency about their inner workings, by utilising computational argumentation (a form of symbolic AI offering reasoning abstractions for a variety of settings where opinions matter) as the scaffolding underpinning Deep Argumentative eXplanations (DAXs). We define three DAX instantiations (for various neural architectures and tasks) and evaluate them empirically in terms of stability, computational cost, and importance of depth. We also conduct human experiments with DAXs for text classification models, indicating that they are comprehensible to humans and align with their judgement, while also being competitive, in terms of user acceptance, with existing approaches to XAI that also have an argumentative spirit.

研究の動機と目的

• ニューラルネットワークの透明性の欠如に応えるために、表面的な注目マップを超えた内部挙動の説明を可能にする手法の開発。
• 計算的議論を推論の基盤として用い、ニューラルネットワークの意思決定の背後にある論理をモデル化。
• 多様なニューラルアーキテクチャとタスクにおいて、DAX の安定性、計算効率、および深さの重要性の評価。
• 制御された人間実験を通じて、DAX の説明の理解可能性と人間の判断との整合性の検証。
• 議論的説明が解釈可能であり、かつ既存の XAI アプローチと競合可能であることを示す。

提案手法

• DAX は計算的議論を用いて、説明を論理的議論として構造化し、ニューラル予測の背後にある推論プロセスをモデル化する。
• 異なるニューラルアーキテクチャとタスクに適応する3つの DAX 実装形態を定義し、モデルタイプに応じた柔軟性を確保する。
• 活性化パターンとモデル挙動から導出される議論的要素（例：前提、結論）を特定・順位付けすることで、説明を生成する。
• 学習済み表現上の記号的推論を用いて説明を構築し、追跡可能で解釈可能な正当化を可能にする。
• シンボリックおよび準記号的コンポーネントを統合し、ニューラルネットワークの出力と構造化された議論フレームワークを組み合わせる。
• 説明品質とユーザ受容性を評価するため、安定性分析、計算コスト測定、および人間評価を通じてフレームワークを評価する。

実験結果

リサーチクエスチョン

• RQ1 計算的議論は、どのようにしてニューラルネットワークの内部挙動を効果的に説明するために活用できるか？
• RQ2 DAX の説明は、既存の XAI メソッドと比較して、安定性の向上と計算コストの低減にどの程度寄与するか？
• RQ3 DAX における議論的推論の深さは、説明品質とモデルの解釈可能性にどのように影響するか？
• RQ4 DAX の説明は人間にとって理解可能であり、テキスト分類タスクにおいて人間の判断と整合性を保っているか？
• RQ5 ユーザ受容性と説明品質の観点から、DAX は他の議論的 XAI アプローチと比較してどのように異なるか？

主な発見

• DAX の説明は複数回の実行において高い安定性を示し、一貫した説明の生成が信頼できることが確認された。
• DAX の説明生成に要する計算コストは、競合する注目ベースの XAI メソッドと比較して顕著に低かった。
• DAX におけるより深い議論的構造は、特に複雑な意思決定シナリオにおいて説明品質の向上に寄与した。
• 人間被験者は DAX の説明を理解可能と評価し、テキスト分類タスクにおいて自らの推論と強い整合性を認めた。
• 制御された人間評価において、DAX は既存の議論的 XAI メソッドと同等またはそれ以上のユーザ受容性を達成した。
• シンボリック議論とニューラル表現の統合により、完全にブラックボックス的または注目ベースのアプローチよりも、より解釈可能で追跡可能な説明が可能になった。