[論文レビュー] On the Influence of Explainable AI on Automation Bias

Max Schemmer, Niklas Kühl+2 more|arXiv (Cornell University)|Apr 19, 2022

Explainable Artificial Intelligence (XAI)被引用数 16

ひとこと要約

本研究は、人間-AI意思決定における自動化バイアス（AIの推薦に過剰に依存すること）を説明可能なAI（XAI）が軽減するかどうかを調査する。ホテルレビュー分類を対象としたオンライン実験の結果、XAIは特に説明が忠実で実行可能である場合、AIへの過剰な依存を顕著に減少させることを示し、より安全なハイブリッド知能システムの構築に貢献する。

ABSTRACT

Artificial intelligence (AI) is gaining momentum, and its importance for the future of work in many areas, such as medicine and banking, is continuously rising. However, insights on the effective collaboration of humans and AI are still rare. Typically, AI supports humans in decision-making by addressing human limitations. However, it may also evoke human bias, especially in the form of automation bias as an over-reliance on AI advice. We aim to shed light on the potential to influence automation bias by explainable AI (XAI). In this pre-test, we derive a research model and describe our study design. Subsequentially, we conduct an online experiment with regard to hotel review classifications and discuss first results. We expect our research to contribute to the design and development of safe hybrid intelligence systems.

研究の動機と目的

• 説明可能なAI（XAI）が人間-AI意思決定の文脈における自動化バイアスを軽減できるかどうかを調査すること。
• 異なる種類のAI説明が人間の信頼と自動化された推薦への依存にどのように影響するかを調査すること。
• 医療や金融など高リスク分野におけるより安全で透明性の高いハイブリッド知能システムの設計に貢献すること。
• XAI、人間の認知、自動化バイアスの相互作用を理解するための研究モデルの構築と検証すること。
• 特に非専門家が関与する意思決定環境において、XAIがAIへの過剰な依存をどれほど効果的に軽減できるかを実証的に示すこと。

提案手法

• 参加者がAI支援のもとでホテルレビューを分類するオンライン実験を実施した。
• XAIの有無を比較し、説明の質と忠実性を変動させた。
• 人間の意思決定への影響を明確に分離するため、制御された実験デザインを採用した。
• 意思決定の正確性、AIへの依存度、AI推薦に対する信頼度のデータを収集した。
• 統計的分析を用いて、XAIが異なる種類の説明において自動化バイアスに与える影響を評価した。
• 研究設計を支援するため、人間-コンピュータインタラクション理論および認知的信頼理論に基づいた研究モデルを構築した。

実験結果

リサーチクエスチョン

• RQ1 AIからの説明を提供することで、人間の意思決定における自動化バイアスは軽減されるか？
• RQ2 AI説明の質と忠実性は、人間のAI推薦への依存にどのように影響するか？
• RQ3 特定の種類の説明は、AIへの過剰な依存をより効果的に軽減するか？
• RQ4 AIの助言が誤りである場合、XAIは人間の意思決定の正確性にどのように影響するか？
• RQ5 助言が誤りであっても、説明が提供されていると、ユーザーはAIをどれほど信頼するようになるか？

主な発見

• 説明可能なAIの存在は、特に説明が忠実で実行可能である場合、自動化バイアスを顕著に低減した。
• 説明が提供された場合、参加者は誤ったAIの推薦を受け入れる可能性が低くなった。これは、AIへの過剰な依存が減少したことを示している。
• 高品質な説明は、説明なしまたは低品質な説明よりも、意思決定の正確性を向上させた。
• 透明で論理的に整合性のある説明があると、ユーザーはAIに対してより高い信頼を示したが、助言が誤りであっても同様であった。
• XAIの効果は、説明がAI意思決定の根拠を理解するのを助ける場合に最も顕著に現れた。
• 説明を受けた参加者は、AIの誤りを検出し、是正する可能性が高かった。これは、人間-AI連携の質が向上したことを示唆している。