[論文レビュー] A Systematic Review on Fostering Appropriate Trust in Human-AI Interaction

Siddharth Mehrotra, Chadha Degachi+3 more|arXiv (Cornell University)|Nov 8, 2023

Explainable Artificial Intelligence (XAI)被引用数 7

ひとこと要約

本システマティックレビューは、定義、測定手法、信頼構築法、タスク文脈を分析することで、人間とAIの相互作用における適切な信頼を促進するための現在の研究を統合しています。Belief, Intentions, and Actions（BIA）マッピングを導入し、概念的曖昧さを明確にし、主な課題、トレンド、研究ギャップを特定。信頼できるAIシステムの設計に向けた実行可能な提言を提供。

ABSTRACT

Appropriate Trust in Artificial Intelligence (AI) systems has rapidly become an important area of focus for both researchers and practitioners. Various approaches have been used to achieve it, such as confidence scores, explanations, trustworthiness cues, or uncertainty communication. However, a comprehensive understanding of the field is lacking due to the diversity of perspectives arising from various backgrounds that influence it and the lack of a single definition for appropriate trust. To investigate this topic, this paper presents a systematic review to identify current practices in building appropriate trust, different ways to measure it, types of tasks used, and potential challenges associated with it. We also propose a Belief, Intentions, and Actions (BIA) mapping to study commonalities and differences in the concepts related to appropriate trust by (a) describing the existing disagreements on defining appropriate trust, and (b) providing an overview of the concepts and definitions related to appropriate trust in AI from the existing literature. Finally, the challenges identified in studying appropriate trust are discussed, and observations are summarized as current trends, potential gaps, and research opportunities for future work. Overall, the paper provides insights into the complex concept of appropriate trust in human-AI interaction and presents research opportunities to advance our understanding on this topic.

研究の動機と目的

• 人間-AI相互作用における適切な信頼の定義についての合意が得られていないことによる、効果的なシステム設計の障壁を解消すること。
• 透明性、説明、自己信頼感の兆候など、適切な信頼を促進するための現在の手法を特定・分類すること。
• 実証的研究における適切な信頼の測定方法を分析すること。これには、自己報告による信頼、行動的行動による信頼、および混合手法が含まれる。
• タスク設計およびドメイン文脈が人間-AI相互作用における信頼の結果に与える影響を検討すること。
• 未解決の課題や研究ギャップ（例：過小信頼、ガイドラインの採用不足、未解明の信頼の対象）を特定し、今後の研究の方向性を提示すること。

提案手法

• PRISMA指針に従い、人間-AI相互作用における適切な信頼に関する査読付き論文のシステマティックレビューを実施。
• 含む／除外基準に基づき、複数段階のスクリーニングプロセスを用いて関連研究を同定。実証的および理論的文献に焦点を当てた。
• 信頼、正当な信頼、正当化された信頼、適切な依存の定義を比較・対比するため、Belief, Intentions, and Actions（BIA）マッピングフレームワークを構築。
• 透明性、知覚に基づく兆候、ガイドライン、信頼連続体モデリングの4つの主要タイプに分類して、信頼構築手法を分類。
• 測定手法を研究間で分析し、自己報告による信頼（自己報告）、行動的行動による信頼（行動）、および混合手法の違いを明確にした。
• タスクタイプおよびドメイン（例：医療、ファイナンス、自律システム）をマッピングし、信頼の結果に与える影響を評価。

(a) A time-series chart shows the number of studies from 1987 to 2022 2 2 2 Our search string for this chart was: ( ”appropriate trust” OR ”calibrated trust” OR ”trust calibration” OR ”over trust” OR ”under trust” OR ”over-trust” OR ”under-trust” ) AND PUBYEAR ¿ 1979 AND ( LIMIT-TO ( LANGUAGE , ”Eng

実験結果

リサーチクエスチョン

• RQ1 異なる研究分野において、人間-AI相互作用における適切な信頼の支配的定義および概念的把握は何か？
• RQ2 適切な信頼を促進するために最も一般的に使用されている手法は何か。また、それらの手法は、システムのパフォーマンスとユーザーの信頼を適正に調整するのにどの程度効果的か？
• RQ3 実証的研究において適切な信頼はどのように測定されているのか。自己報告、行動的行動、混合手法の各アプローチの長所と短所は何か？
• RQ4 タスク設計およびドメイン文脈は、AIシステムにおける適切な信頼の発展にどの程度影響を及えるか？
• RQ5 適切な信頼を研究するうえでの主な課題と研究ギャップ（特に過小信頼、ガイドラインの採用、AI開発者の役割）は何か？

主な発見

• 45％のユーザー研究が過剰信頼の検出に焦点を当てていたが、AIシステムにおける過小信頼は著しく研究が不足しており、重要な研究ギャップが存在する。
• 10％の研究しか、既存の信頼キャリブレーションガイドラインに従っていなかったが、責任あるAI信頼設計のための複数の学術的および産業的フレームワークが存在している。
• 透明性、知覚兆候（例：アラーム、警告）、不確実性の伝達が、適切な信頼を促進するために最も頻繁に使用された手法であった。
• BIAマッピングにより、「適切な信頼」「正当な信頼」「適切な依存」といった用語間の概念的不整合が明らかになり、明確な定義の必要性が浮き彫りになった。
• タスクの目的が信頼の結果に顕著な影響を及えた：公平性に焦点を当てた研究は、正確性や信頼性に焦点を当てた研究とは異なる信頼のパターンを示した。
• 信頼の対象（特にAI開発者や製造業者への信頼）は、ユーザーの認識やシステムの説明責任に大きな影響を及える可能性があるが、依然としてほとんど調査がなされていない。

(b) Some key papers during the development process of appropriate trust research.