[論文レビュー] What Does Explainable AI Really Mean? A New Conceptualization of Perspectives

Derek Doran, Sarah Schulz+1 more|arXiv (Cornell University)|Oct 2, 2017

Multimodal Machine Learning Applications参考文献 11被引用数 332

ひとこと要約

本論文は、説明可能AIの三つの横断的概念—不透明、解釈可能、理解可能—を特定し、説明の自動推論を統合した第四の、真に説明可能なAIを提案している。

ABSTRACT

We characterize three notions of explainable AI that cut across research fields: opaque systems that offer no insight into its algo- rithmic mechanisms; interpretable systems where users can mathemat- ically analyze its algorithmic mechanisms; and comprehensible systems that emit symbols enabling user-driven explanations of how a conclusion is reached. The paper is motivated by a corpus analysis of NIPS, ACL, COGSCI, and ICCV/ECCV paper titles showing differences in how work on explainable AI is positioned in various fields. We close by introducing a fourth notion: truly explainable systems, where automated reasoning is central to output crafted explanations without requiring human post processing as final step of the generative process.

研究の動機と目的

• 高リスク環境におけるAIの意思決定に対する説明の必要性を喚起する。
• corpusデータを用いてAIサブ分野間で説明可能性がどう位置づけられているかを分析する。
• さまざまな分野に適用可能な三つの説明可能性の概念を定義し区別する。
• 説明のための自動推論を組み込んだ第四の概念—真に説明可能なAI—を提案する。

提案手法

• ACL、NIPS、COGSCI、ICCV/ECCV 2007–2016 の説明可能性用語のコーパスベース分析を行う。
• explain, interpret, and comprehensibility の部分文字列検索を用いて説明可能性の参照を定量化する。
• 語の雲を用いて文脈を示し、分野横断の意味内容を比較する。
• 不透明、解釈可能、理解可能の三概念を定義し、それらの含意を論じる。
• 第四の概念、真に説明可能なAIを主張し、説明のために自動推論をシンボルベースの説明と統合する。

実験結果

リサーチクエスチョン

• RQ1 文献で特定された説明可能AIの横断的概念は何か？
• RQ2 異なるAIコミュニティ（ vision, NLP, cognitive science） は説明可能性の用語をどう位置づけ、どう用いるか？
• RQ3 不透明、解釈可能、理解可能なシステムを何が区別し、いつそれぞれが望ましいか？
• RQ4 真に説明可能なAIを実現する上で自動推論の役割は何か？

主な発見

• 分野によって説明可能性の言語と焦点が異なる：COGSCIはメカニズム（参加者、タスク、影響）を強調する一方、NLP/ビジョンはデータ、特徴、アルゴリズムに焦点を当てる。
• 解釈可能なモデルは出力への数学的写像を公開する；理解可能なモデルはユーザー主導の説明を可能にする記号を出力する；不透明なモデルはメカニズムを洞察できない。
• ポストホックな説明を超え、説明の自動推論を用いて説明を生成する真に説明可能なAIへ移行する必要がある。
• 第四の概念—真に説明可能なAI—はニューラル-シンボリック推論をユーザー向けの説明と統合することを要する。