[論文レビュー] Modeling Reliance on XAI Indicating Its Purpose and Attention

Akihiro Maehigashi, Yosuke Fukuchi+1 more|arXiv (Cornell University)|Feb 16, 2023

Ethics and Social Impacts of AI被引用数 4

ひとこと要約

本研究は、説明可能なAI（XAI）の特徴、特にAIの目的の開示と注目ヒートマップが、人間のAIへの信頼と依存に与える影響を調査する。構造方程式モデリング（SEM）を用いた分析の結果、目的の説明は容易なタスク（適合性）において信頼を高めるが、ヒートマップは解釈可能である場合にのみ信頼を向上させ、特に困難なタスク（眠気検出）において顕著であり、低解釈性のヒートマップは信頼を低下させる。

ABSTRACT

This study used XAI, which shows its purposes and attention as explanations of its process, and investigated how these explanations affect human trust in and use of AI. In this study, we generated heat maps indicating AI attention, conducted Experiment 1 to confirm the validity of the interpretability of the heat maps, and conducted Experiment 2 to investigate the effects of the purpose and heat maps in terms of reliance (depending on AI) and compliance (accepting answers of AI). The results of structural equation modeling (SEM) analyses showed that (1) displaying the purpose of AI positively and negatively influenced trust depending on the types of AI usage, reliance or compliance, and task difficulty, (2) just displaying the heat maps negatively influenced trust in a more difficult task, and (3) the heat maps positively influenced trust according to their interpretability in a more difficult task.

研究の動機と目的

• AIの目的の開示と注目ヒートマップが、AIシステムにおける人間の信頼と依存に与える影響を調査すること。
• タスクの難易度がXAIの説明が信頼と適合性に与える影響を緩和する役割を果たすかを検討すること。
• 注目ヒートマップの解釈可能性が、特に複雑な意思決定の文脈において、AIへの信頼に媒介する役割を果たすかどうかを評価すること。
• アルゴリズム嫌悪を是正するため、透明なAIの説明が信頼のキャリブレーションを改善し、AIの誤りに対する不信を軽減するかを評価すること。
• XAIの行動的結果としての依存（タスクの委譲）と適合（AIの出力の受容）を、それぞれ異なる行動的アウトカムとして区別すること。

提案手法

• Grad-CAMを用いて、画像ベースのタスクにおけるAIの注目を可視化する高解釈性および低解釈性の注目ヒートマップを生成した。
• ヒューマンペルセプションテストを通じてヒートマップの解釈可能性を検証するための実験1を実施した。
• より簡単な肥満スクリーニングタスクと、より困難な眠気検出タスクの2つのタスクを用いた実験2を実施した。
• 意思決定の委譲（依存）とAI出力の受容（適合）を行動的アウトカムとして収集した。
• 構造方程式モデリング（SEM）を用いて、目的の開示、ヒートマップの解釈可能性、信頼（認知的および感情的）、および依存／適合の間の因果関係を分析した。
• 制御された条件下で、目的表示と注目可視化の効果を信頼と行動に分離して評価した。

実験結果

リサーチクエスチョン

• RQ1 AIシステムの目的を表示することは、異なるタスク文脈において人間の信頼と依存にどのように影響するか？
• RQ2 注目ヒートマップは信頼と適合にどのような影響を与えるか。また、これはタスクの難易度に依存するか？
• RQ3 AIが生成するヒートマップの解釈可能性は、認知的および感情的信頼にどのように影響するか？
• RQ4 ヒートマップの有無は、特に高難易度のタスクにおいて、アルゴリズム嫌悪を増大させるか、それとも減少させるか？
• RQ5 依存と適合は、目的や注目可視化といったXAIの説明に対して、どのように異なる感受性を示すか？

主な発見

• 容易な肥満スクリーニングタスクでは、AIの目的の開示が適合モデルにおける信頼を肯定的に影響したが、より困難な眠気検出タスクでは、依存モデルにおける信頼を否定的に影響した。
• 高解釈性のないヒートマップの単純な表示は、タスク難易度が高かった眠気検出タスクにおいて、信頼を否定的に影響した。
• ヒートマップの解釈可能性は、眠気検出タスクの適合モデルにおいて、認知的信頼と感情的信頼の両方を肯定的に向上させた。
• 眠気検出タスクにおいて、注目ヒートマップの解釈可能性が高まると、感情的信頼が上昇した。これは、人間化効果（anthropomorphism effect）の可能性を示唆している。
• 眠気検出タスクにおいて、認知的信頼は依存と適合に否定的な影響を及ぼした。これは、参加者がAIが学習を通じて改善すると予想していたための可能性がある。
• 結果は、XAIの説明が意味のあるもの（目的）であり、かつ視覚的に解釈可能なもの（高品質なヒートマップ）である場合に、特に複雑で高リスクな文脈において最も効果的であるという仮説を支持している。