[論文レビュー] To Trust or Distrust Trust Measures: Validating Questionnaires for Trust in AI

Nicolas Scharowski, Sebastian A. C. Perrig+5 more|arXiv (Cornell University)|Mar 1, 2024

Explainable Artificial Intelligence (XAI)被引用数 5

ひとこと要約

この研究はAI文脈で2つの信頼質問紙（TPAとTAI）を検証し、TAIは良好な心理測定特性を持つ一方、TPAは信頼と不信の二因子モデルと項目の改良によって有益であることを示しています。

ABSTRACT

Despite the importance of trust in human-AI interactions, researchers must adopt questionnaires from other disciplines that lack validation in the AI context. Motivated by the need for reliable and valid measures, we investigated the psychometric quality of two trust questionnaires, the Trust between People and Automation scale (TPA) by Jian et al. (2000) and the Trust Scale for the AI Context (TAI) by Hoffman et al. (2023). In a pre-registered online experiment (N = 1485), participants observed interactions with trustworthy and untrustworthy AI (autonomous vehicle and chatbot). Results support the psychometric quality of the TAI while revealing opportunities to improve the TPA, which we outline in our recommendations for using the two questionnaires. Furthermore, our findings provide additional empirical evidence of trust and distrust as two distinct constructs that may coexist independently. Building on our findings, we highlight the opportunities and added value of measuring both trust and distrust in human-AI research and advocate for further work on both constructs.

研究の動機と目的

• AI設定におけるTrust Between People and Automation (TPA) スケールの心理測定品質を評価する。
• AIコンテキストのTrust Scale for the AI Context (TAI) の心理測定品質を評価する。
• 2つのスケールを比較し、AI研究での使用推奨を提供する。
• 人間とAIの相互作用において信頼と不信が別個の構成概念であるかを調査する。

提案手法

• 事前登録済みのオンライン実験（N=1485）で、アプリケーション（チャットボット対自動運転車）と信頼条件（信頼できる対信頼できない）を操作する2x2混合 design。
• 参加者は事前に録画された2つのAI相互作用を見て、それぞれのシナリオの後にTPA、TAI、および追加の測定を完了した。
• TPA項目は元の項目から『system』を『AI』に置換し、不信を表す5つの否定語項目を再符号化して適応させた。
• TAIは8つの項目で構成され、1つの否定語項目を含み、AIコンテキストに適用された。
• 構成妥当性は確証的因子分析で検証した。TPAについては探索的因子分析で頑健性を検証した。
• 信頼性はCronbachのαとMcDonaldのオメガを用いて評価した。

Figure 1: An illustration of the 2x2 online experiment stimuli by condition (trustworthy vs. untrustworthy) and application (chatbot vs. automated vehicle), constituting four scenarios in total.

実験結果

リサーチクエスチョン

• RQ1 TPAとTAIのスケールはAI文脈で信頼できる妥当な心理測定特性を示すか。
• RQ2 TPAは単一因子より二因子モデル（信頼と不信）で最も良く表されるか。
• RQ3 TAIはAI設定で強い構成妥当性と信頼性を示すか。
• RQ4 AI相互作用における信頼と不信は感情（affect）および状況的信頼測定とどのように関連するか。

主な発見

• TAIは強力な心理測定特性を示し、主に単一因子の信頼モデルに適合する。
• TPAは単一因子モデルでは適合が不十分だが、二因子モデル（信頼と不信）を用いると解釈が改善される。
• 信頼と不信はAI研究で共存できる別個の構成概念として現れ、別々に測定するべきである。
• 本研究はAI文脈で適用された適応スケールの検証を強調し、信頼と不信の両方の測定を推奨する。
• 高リスクのAVと低リスクのチャットボットという2つの適用分野、そして信頼できるAI条件と信頼できないAI条件の両方を効果的に操作でき、操作妥当性を支持した。）