[論文レビュー] A Mental Model Based Theory of Trust

Zahra Zahedi, Sarath Sreedharan+1 more|arXiv (Cornell University)|Jan 29, 2023

Cognitive Science and Mapping被引用数 5

ひとこと要約

本論文は、ユーザーのAIエージェントに関する認知的モデルと能力・タスク遂行に関する信念を通じて、人間のAIに対する信頼を形式化する、メンタルモデルに基づく信頼理論（MMbTT）を提唱する。人間被験者を用いた研究により、この理論が信頼の変化を高い精度で予測できることを示しており、特に熟練度や信頼性といったタスク固有の要素において、従来の自己報告尺度を上回る動的信頼の進化を捉える能力を有している。

ABSTRACT

Handling trust is one of the core requirements for facilitating effective interaction between the human and the AI agent. Thus, any decision-making framework designed to work with humans must possess the ability to estimate and leverage human trust. In this paper, we propose a mental model based theory of trust that not only can be used to infer trust, thus providing an alternative to psychological or behavioral trust inference methods, but also can be used as a foundation for any trust-aware decision-making frameworks. First, we introduce what trust means according to our theory and then use the theory to define trust evolution, human reliance and decision making, and a formalization of the appropriate level of trust in the agent. Using human subject studies, we compare our theory against one of the most common trust scales (Muir scale) to evaluate 1) whether the observations from the human studies match our proposed theory and 2) what aspects of trust are more aligned with our proposed theory.

研究の動機と目的

• 人間のAIエージェントに対する信頼を心理的に妥当で、計算的に形式化された理論として開発し、信頼に配慮した意思決定を可能にする。
• 自己報告アンケートや行動的兆候といった従来の信頼推定手法の限界を克服するため、信頼をユーザーのエージェントに関するメンタルモデルに根ざしたものとする。
• 認知的モデルフレームワークを用いて、信頼の進化、適切な信頼レベル、人間のAIエージェントへの依存度を形式化する。
• 制御された人間被験者研究を通じて、Muirアンケートのような既存の信頼尺度と比較して、MMbTTフレームワークの予測精度と人間の信頼認識との整合性を検証する。
• 将来の信頼に配慮したAIシステムの開発を可能にする。その際、ユーザーのメンタルモデルに基づいて説明可能で解釈可能な行動を生成する。

提案手法

• 信頼を、人間のAIエージェントに関するメンタルモデル（$\mathbb{M}^{R}_{h}$）と、最適なタスク遂行に関するモデル（$\mathcal{M}^{*}_{h}$）の関数として形式化する。
• エージェントの成功確率の認識変化に基づいて信頼の進化をモデル化し、エージェントのモデル（$\mathcal{M}^{R}$）や説明の更新による変化を用いる。
• 適切な信頼レベルを、ユーザーのタスクモデルとエージェントのモデルの整合性の関数として定義する。
• 直接の自己報告に依存せず、ユーザーの期待とエージェントの行動との認知的整合性を活用することで、計算フレームワークを用いて信頼レベルを推定する。
• エージェントの成功確率に制御された更新を加えた人間被験者研究を実施し、熟練度、予測可能性、信頼性、信仰、総合的信頼といった信頼の各成分における信頼の変化を測定する。
• MMbTTフレームワークの予測結果とMuir信頼尺度への回答を比較し、その正確性と人間の信頼認識との整合性を検証する。

実験結果

リサーチクエスチョン

• RQ1 AIエージェントの認識された信頼性が操作された際、メンタルモデルに基づく信頼理論（MMbTT）は、人間の信頼の変化をどの程度正確に予測できるか？
• RQ2 MMbTTフレームワークは、Muirアンケートのような既存の自己報告信頼尺度と、信頼の各成分を測定する際にどの程度整合性を示すか？
• RQ3 熟練度、予測可能性、信頼性といった信頼の各成分の中で、MMbTTフレームワークが最も正確に予測するのはどれか？
• RQ4 一部の信頼成分（例：予測可能性）が信頼の更新に対して一貫性のない反応を示すのはなぜか？これは現在の信頼測定ツールに何を示唆するか？
• RQ5 MMbTTフレームワークは、ユーザーのメンタルモデルに基づいて行動や説明を適応させる信頼に配慮したAIシステムの設計基盤として機能できるか？

主な発見

• ポジティブな更新群では、全体の信頼が統計的に有意に上昇した（t(40) = -3.46, p < 0.001）。これは、成功確率の上昇が信頼を高めるという仮説を支持する。
• 熟練度（t(40) = -4.09, p = 0.0001）、信頼性（t(40) = -3.85, p = 0.0002）、信仰（t(40) = -2.919, p = 0.003）、全体の信頼（t(40) = -2.084, p = 0.02）の各成分が、ポジティブな更新後に有意に上昇した。
• 予測可能性の成分には統計的に有意な変化が認められなかった（t(40) = -0.63, p = 0.266）。これは、成功確率の更新にもかかわらず、ユーザーがロボットの行動に不確実性を残していたことを示唆している。
• ネガティブな更新群では、熟練度のみが統計的に有意に低下した（t(40) = -3.21, p = 0.001）。他の成分、特に予測可能性や全体の信頼には有意な変化が認められなかった。
• 予測可能性が高いうえで、熟練度の低下にもかかわらず全体の信頼に有意な変化がなかったことから、現在の信頼アンケートは動的信頼の変化を完全に捉えられていない可能性がある。
• 結果から、信頼アンケートは一般的なものではなく、タスク固有のものであるべきであると示唆される。ユーザーの信頼は、抽象的なエージェント行動よりも、具体的なタスク成果に結びついた質問に対してより正確に予測可能である。