[論文レビュー] The Response Shift Paradigm to Quantify Human Trust in AI Recommendations

Ali Shafti, Victoria Derks+2 more|arXiv (Cornell University)|Feb 16, 2022

Explainable Artificial Intelligence (XAI)被引用数 5

ひとこと要約

本論文は、AIの推奨と説明を提示した後のユーザーの最終意思決定と初期意思決定の差（応答シフト）を追跡することで、人間のAI推奨に対する信頼を定量化するヒューマンインザループのパラダイムを導入する。この手法により、説明可能AI（XAI）システムの客観的で継続的かつスケーラブルな評価が可能となり、説明の質が信頼に顕著に影響することを明らかにした。また、機械学習を用いたAIの信頼性向上のための最適化に利用可能な、人間の意思決定の測定可能なシフトが得られる。

ABSTRACT

Explainability, interpretability and how much they affect human trust in AI systems are ultimately problems of human cognition as much as machine learning, yet the effectiveness of AI recommendations and the trust afforded by end-users are typically not evaluated quantitatively. We developed and validated a general purpose Human-AI interaction paradigm which quantifies the impact of AI recommendations on human decisions. In our paradigm we confronted human users with quantitative prediction tasks: asking them for a first response, before confronting them with an AI's recommendations (and explanation), and then asking the human user to provide an updated final response. The difference between final and first responses constitutes the shift or sway in the human decision which we use as metric of the AI's recommendation impact on the human, representing the trust they place on the AI. We evaluated this paradigm on hundreds of users through Amazon Mechanical Turk using a multi-branched experiment confronting users with good/poor AI systems that had good, poor or no explainability. Our proof-of-principle paradigm allows one to quantitatively compare the rapidly growing set of XAI/IAI approaches in terms of their effect on the end-user and opens up the possibility of (machine) learning trust.

研究の動機と目的

• AI推奨に対する人間の信頼を定量化し、客観的かつスケーラブルな方法で測定するための手法を開発すること。
• 異なる水準のAI説明可能性とシステム品質が、人間の意思決定のシフトに与える影響を評価すること。
• AI推奨が人間の選択に与える影響を測定することで、信頼の最適化に向けたフィードバックループを構築すること。
• 自己報告に依存する主観的評価を避けるために、継続的かつ行動ベースの信頼指標を人間-AIインタラクションで用いること。
• 教師あり回帰タスクに一般化可能なプロトコルを提供し、XAI/IAIシステムの評価に適用可能であること。

提案手法

• 三段階のヒューマンインザループプロトコルを採用：最初にユーザーが初期予測を提供し、次にAIの推奨と説明を提示され、最後に予測を再検討・修正する。
• 主な指標は「応答シフト」であり、初期応答と最終応答の連続的差分として定義され、AIが人間の意思決定に与える影響を定量化する。
• この手法はベイジアン意思決定理論に基づいており、人間の意思決定を、AIから得た新しい情報に基づく確率的更新としてモデル化する。
• 数百人のユーザーを対象に、アマゾンのMechanical Turkで実験を実施し、学生の成績を予測するための表形式データを用いた。
• AIの品質（良し／悪い）と説明の質（良し／悪い／なし）を制御することで、体系的な比較が可能である。
• 応答シフトは、AIシステムの最適化や学習に利用可能な測定可能で連続的な信号として扱われる。

実験結果

リサーチクエスチョン

• RQ1 AIの説明の質が、AI推奨への人間の意思決定シフトの大きさにどのように影響するか？
• RQ2 AIシステムの性能（良し／悪い）が、応答シフトによって測定される人間の信頼に、どの程度影響を及ぼすか？
• RQ3 自己報告に依存せずに、人間-AIインタラクションから継続的かつ行動ベースの信頼指標を信頼性高く抽出できるか？
• RQ4 AIシステムとの訓練経験が、応答シフトおよび信頼形成にどのように影響するか？
• RQ5 応答シフト信号を用いて、勾配ベースの最適化によりAIの説明を最適化し、人間の信頼を向上させることは可能か？

主な発見

• 応答シフト指標は、AI推奨が人間の意思決定に与える影響を成功裏に定量化し、信頼の連続的かつ客観的な測定指標を提供した。
• 説明の質が応答シフトに顕著に影響し、高品質な説明は、低品質または説明なしの状況よりも、より大きく一貫性のある意思決定の変化を引き起こした。
• AIが正確な場合、説明が弱くてもユーザーはAI推奨に意思決定を近づける傾向があり、信頼形成において性能が説明の質を上回ることを示した。
• 本手法により、誤ったAIシステムに対してユーザーが誤った信頼を寄せてしまう事例が明らかになった。特に、装飾は良いが内容が誤った説明では、表面的な信頼のリスクが顕在化した。
• 応答シフト信号は、AIシステムの品質や説明タイプの違いを検出するのに十分な変動性と感度を示し、信頼性の高い評価指標としての有効性が検証された。
• このフレームワークにより、機械学習パイプラインへのフィードバックが可能となり、測定可能な人間の応答シフトに基づいたAI説明の最適化が可能になった。