[論文レビュー] The human-AI relationship in decision-making: AI explanation to support people on justifying their decisions

Juliana Jansen Ferreira, Mateus de Souza Monteiro|arXiv (Cornell University)|Feb 10, 2021

Explainable Artificial Intelligence (XAI)被引用数 13

ひとこと要約

本論文は、人間とAIの意思決定協働分野において信頼を醸成し、効果的な正当化を可能にするために、説明可能なAI（XAI）が不可欠であると提唱している。AIの説明を意思決定プロセスに統合することで、個人はAIに影響を受ける意思決定をよりよく理解し、防衛できるようになる。特に、責任の所在が重要となる高リスク分野において顕著である。主な貢献は、XAIを技術的透明性という観点にとどめず、意思決定者自身が他者に対して結果を正当化するのを支援する関係的ツールとして位置づけることにある。

ABSTRACT

The explanation dimension of Artificial Intelligence (AI) based system has been a hot topic for the past years. Different communities have raised concerns about the increasing presence of AI in people's everyday tasks and how it can affect people's lives. There is a lot of research addressing the interpretability and transparency concepts of explainable AI (XAI), which are usually related to algorithms and Machine Learning (ML) models. But in decision-making scenarios, people need more awareness of how AI works and its outcomes to build a relationship with that system. Decision-makers usually need to justify their decision to others in different domains. If that decision is somehow based on or influenced by an AI-system outcome, the explanation about how the AI reached that result is key to building trust between AI and humans in decision-making scenarios. In this position paper, we discuss the role of XAI in decision-making scenarios, our vision of Decision-Making with AI-system in the loop, and explore one case from the literature about how XAI can impact people justifying their decisions, considering the importance of building the human-AI relationship for those scenarios.

研究の動機と目的

• 専門的または機関的文脈において、意思決定者自身がその選択を正当化しなければならない状況において、XAIが果たす役割を検討すること。
• モデルの解釈可能性や透明性に焦点を当てたXAI研究の一方で、正当化の観点が不足しているというギャップを埋めること。
• AIの説明が、責任の所在や意思決定の正当化を支援するように設計された人間とAIの関係モデルを提唱すること。
• 文献上の事例研究を通じて、説明の質が意思決定者がAIに影響を受けた結果をどのように防衛できるかに与える影響を示すこと。
• 技術的説明可能性を越えて、意思決定文脈における社会的・認知的ニーズを満たすXAIシステムの実装を提言すること。

提案手法

• 著者らは、人間とコンピュータのインタラクション（HCI）および説明可能なAI（XAI）の分野からの多様な知見を統合した立場論文の手法を採用している。
• 既存のXAIフレームワークを分析し、それらの目的をモデルの透明性から、意思決定文脈における正当化を可能にするものへと再定義している。
• 文献上の事例研究を用いて、AIの説明が意思決定者がステークホルダーに対して結果を正当化できる能力に与える影響を説明している。
• 説明の影響が信頼、責任の所在、人間とAIの協働に与える影響を定性的に分析することに重点を置いている。
• フレームワークは社会的技術的システム理論に基づいており、意思決定ループにおける人間とAIの相互依存性を強調している。
• 意思決定理論と倫理的AIの知見を統合することで、説明を関係的かつ正当化的ツールとして位置づけている。

実験結果

リサーチクエスチョン

• RQ1 AIの説明は、意思決定がAIの影響を受ける状況において、人間の意思決定者がその選択をどのように正当化できるかを支援するか。
• RQ2 説明の質が、意思決定者が自分の選択を防衛できる能力に与える影響（促進または阻害）はどのようなものか。
• RQ3 XAIは、透明性を超えて、意思決定プロセスにおける責任の所在と信頼をどのように支援できるか。
• RQ4 人間とAIの関係は、正当化シナリオにおける説明の効果にどのような影響を与えるか。
• RQ5 専門的意志決定文脈におけるAIの説明に必要な社会的・認知的要件は何か。

主な発見

• AIの説明は、外部のステークホルダーに対してAIに影響を受けた意思決定を正当化できる能力を顕著に高める。
• 説明の質は、AIの出力が正しくても、信頼や意思決定の正当性の認識に直接的な影響を与える。
• 本研究では、説明が意思決定者の推論プロセスとコミュニケーションニーズと整合している場合、最も効果的であることが示された。
• 単にAIモデルを解釈可能にするのでは不十分である。説明は、正当化の文脈と対象者に合わせてカスタマイズされる必要がある。
• 説明が技術的透明性を越えて、責任の所在を支援することで、人間とAIの関係は強化される。
• 事例研究から、適切な説明がなければ、意思決定者がAIの出力を拒否したり、誤解を招くように解釈したりする可能性があることが明らかになった。