[論文レビュー] Converging Measures and an Emergent Model: A Meta-Analysis of Human-Automation Trust Questionnaires

Yosef S. Razin, Karen M. Feigh|arXiv (Cornell University)|Mar 24, 2023

Cognitive Functions and Memory被引用数 8

ひとこと要約

この論文は Human-Automation Interaction における検証済み信頼 questionnaire をメタ分析し、収束因子を特定し、用語を整理し、 emergent な統合信頼モデルを提案する。

ABSTRACT

A significant challenge to measuring human-automation trust is the amount of construct proliferation, models, and questionnaires with highly variable validation. However, all agree that trust is a crucial element of technological acceptance, continued usage, fluency, and teamwork. Herein, we synthesize a consensus model for trust in human-automation interaction by performing a meta-analysis of validated and reliable trust survey instruments. To accomplish this objective, this work identifies the most frequently cited and best-validated human-automation and human-robot trust questionnaires, as well as the most well-established factors, which form the dimensions and antecedents of such trust. To reduce both confusion and construct proliferation, we provide a detailed mapping of terminology between questionnaires. Furthermore, we perform a meta-analysis of the regression models that emerged from those experiments which used multi-factorial survey instruments. Based on this meta-analysis, we demonstrate a convergent experimentally validated model of human-automation trust. This convergent model establishes an integrated framework for future research. It identifies the current boundaries of trust measurement and where further investigation is necessary. We close by discussing choosing and designing an appropriate trust survey instrument. By comparing, mapping, and analyzing well-constructed trust survey instruments, a consensus structure of trust in human-automation interaction is identified. Doing so discloses a more complete basis for measuring trust emerges that is widely applicable. It integrates the academic idea of trust with the colloquial, common-sense one. Given the increasingly recognized importance of trust, especially in human-automation interaction, this work leaves us better positioned to understand and measure it.

研究の動機と目的

• 最も引用され、最も検証された人間-自動化・人間-ロボット信頼の questionnaire を特定する。
• 異なる信頼 instrument 間の用語をマッピングし統合することで構成概念の繁殖を抑制する。
• 多因子信頼 instrument を用いた研究の回帰モデルのメタ分析を行い、HAI における信頼の収束モデルを導出する。
• 将来の信頼調査の選択と設計を導くために instrument の信頼性と妥当性を評価する。
• HAI 研究における信頼調査 instrument の選択・設計の実践的フレームワークを概説する。

提案手法

• PRISMA風のアプローチで HCI、HRI、HAI の広範な文献基盤から信頼 instrument を体系的に同定する。
• instrument を単因子と多因子に分類し、その使用と影響を評価する。
• 内部整合性指標（Cronbach’s alpha、Guttman’s lambda-6、McDonald’s omega）を用いて信頼性を評価し、前提と限界を議論する。
• 内容的妥当性、構成概念妥当性、統計的妥当性の基準を用いて、探索的因子分析および確証的因子分析を含む評価を行う。
• instrument 間の用語と因子を比較・マッピングし、HAI における信頼構成概念の統一的見解を導く。
• Complete Reliability and Validity、Some Reliability and Validity、No Reliability or Validity の分類基準を提供する。

実験結果

リサーチクエスチョン

• RQ1 HAI/HRI/HAI 文献で最も頻繁に引用され、最も検証された信頼調査 instrument はどれか。
• RQ2 多因子信頼 instrument に共通する因子や次元は何か、互いにどのように関連するのか。
• RQ3 既存の信頼性の高い instrument から収束・ emergent な人間-自動化信頼モデルを導出できるか。
• RQ4 今後の HAI 研究の信頼質問票の選択・設計でどのような指針が生まれるか。
• RQ5 人間-自動化相互作用の信頼測定にはどこにギャップや不確実性が残っているか。

主な発見

• この分野は単項目、二項目、または多項目の instrument の混在を示し、過去10年間で多項目調査の増加が顕著である。
• レビューの引用の約半数近くを占める12の instrument が主要な道具として支配的であることを示し、McKnight and Gefen などが実務に影響を与えているが、サブ分野によって適用性は異なる。
• 信頼性と妥当性の報告は不統一であり、 instrument の約24% が妥当性/信頼性分析を示さず、単因子 instrument のみで妥当性と信頼性の両方を報告しているものは17%にすぎない。
• Complete Reliability/Validity、Some Reliability/Validity、No Reliability/Validity の分類に基づく構造化評価フレームワークを提案し、測定の質のばらつきを浮き彫りにする。
• 検証済みの survey instrument の統合的な総説とメタ分析に基づく収束・実験的に検証された信頼モデルを提案し、今後の研究の統合的枠組みを提供する。
• 信頼 instrument の選択と設計に関する指針を提供し、現状の測定境界とさらなる検証が必要な領域を特定する。