[論文レビュー] The What, the Why, and the How of Artificial Explanations in Automated Decision-Making

Tarek R. Besold, Sara L. Uckelman|arXiv (Cornell University)|Aug 21, 2018

Explainable Artificial Intelligence (XAI)参考文献 44被引用数 10

ひとこと要約

本稿は、自動意思決定における説明について、文脈に依存する認識論的枠組みを提唱し、説明が利用者に対して、的確に伝達され、十分に正確で、十分に真実であり、認識論的に満足できるものでなければならないと主張している。説明可能AIシステムにとって本質的であるとされる4つの望ましい特徴——的確な伝達性、正確性の十分さ、真実性の十分さ、認識論的満足——を導入している。

ABSTRACT

The increasing incorporation of Artificial Intelligence in the form of automated systems into decision-making procedures highlights not only the importance of decision theory for automated systems but also the need for these decision procedures to be explainable to the people involved in them. Traditional realist accounts of explanation, wherein explanation is a relation that holds (or does not hold) eternally between an explanans and an explanandum, are not adequate to account for the notion of explanation required for artificial decision procedures. We offer an alternative account of explanation as used in the context of automated decision-making that makes explanation an epistemic phenomenon, and one that is dependent on context. This account of explanation better accounts for the way that we talk about, and use, explanations and derived concepts, such as `explanatory power', and also allows us to differentiate between reasons or causes on the one hand, which do not need to have an epistemic aspect, and explanations on the other, which do have such an aspect. Against this theoretical backdrop we then review existing approaches to explanation in Artificial Intelligence and Machine Learning, and suggest desiderata which truly explainable decision systems should fulfill.

研究の動機と目的

• AIシステムにおける説明のギャップ、すなわち意思決定はなされているが、利用者が十分に理解できないという問題に対処すること。
• 人間の理解の認識論的および文脈的性質を十分に反映していない実在論的説明理論を批判すること。
• AIにおける満足できる説明とは何かという基準を確立すること。単なるアルゴリズムの正しさを超えて、利用者中心の伝達的および認知的次元を含むこと。
• 医療や金融などのハイリスク分野における実装を支援する理論的基盤を提供すること。
• 理論的意思決定理論と現実のヒューマン・AIインタラクションのギャップを、利用者の認識的ニーズと文脈に基づいた説明に根ざさせることで埋めること。

提案手法

• 説明が事実間の普遍的関係ではなく、説明を受ける者の認知的および文脈的状態に依存する、認識論的説明の枠組みを構築する。
• 説明が単なる原因や理由とは異なり、理解を可能にし、意思決定を支援するという認識論的機能に焦点を当てる。
• 4つの核心的な望ましい特徴を導入する：的確な伝達性（理解可能でかつ行動可能なこと）、正確性の十分さ（完璧でなくてもよい、適切な正確さ）、真実性の十分さ（完璧でなくてもよい、真実であること）、認識論的満足（利用者の理解への渇望を満たすこと）。
• 医療診断、ローン承認、レコメンデーションシステムなど、利用者の理解と信頼が重要な現実世界のAI文脈にこの枠組みを適用する。
• これらの望ましい特徴の観点から、既存のAI説明手法を分析し、現在のアプローチにおけるギャップを特定する。
• 正確性、真実性、理解可能性、利用者満足の間のトレードオフは欠陥ではなく、説明可能AIにおける必須の設計選択であると提唱する。

実験結果

リサーチクエスチョン

• RQ1 自動意思決定の文脈において、説明と単なる原因や理由とは、どのように区別されるか？
• RQ2 なぜ伝統的な実在論的説明理論は、AIシステムと対話する人間利用者の実際のニーズを十分に捉えていないのか？
• RQ3 人間の認知的制限と文脈の多様性を考慮すると、理論的にだけでなく実務的にも効果的なAIの説明は、どのように設計できるか？
• RQ4 人間利用者が信頼できると感じると同時に行動可能だと感じるためには、説明が満たすべき基準は何か？
• RQ5 AIシステムは、正確性、真実性、理解可能性をどのようにバランスさせれば、利用者の理解力や意思決定能力を損なわずに済ませられるか？

主な発見

• AIにおける説明は、事実間の静的で客観的な関係ではなく、利用者の知識、文脈、認知的ニーズに依存する認識論的現象である。
• システムの出力は知られているが理解されていないという説明のギャップは、アルゴリズムの正しさだけでは埋められない。利用者中心の説明設計が不可欠である。
• 的確な伝達性は不可欠である：説明は理解可能で、利用者が行動を変える手がかりとなるべきであり、完璧な正確性がなくてもよい。
• 完全な正確性や真実性よりも、十分な正確性と十分な真実性が、理解可能性とのトレードオフがある場合に、より現実的で効果的である。
• 利用者が自分の理解への渇きが満たされたと感じること——認識論的満足——は、成功した説明にとって不可欠な条件であり、説明が包括的でなくてもよい。
• 現在のAI説明手法は、これら4つの望ましい特徴を同時に満たしていないことが多く、説明可能AIにおける新しい理論的および工学的フレームワークの必要性が示唆される。