[논문 리뷰] Converging Measures and an Emergent Model: A Meta-Analysis of Human-Automation Trust Questionnaires

Yosef S. Razin, Karen M. Feigh|arXiv (Cornell University)|2023. 03. 24.

Cognitive Functions and Memory인용 수 8

한 줄 요약

이 연구는 인간-자동화 상호작용에서 검증된 신뢰 설문지를 메타분석하여 수렴 요인을 식별하고 용어를 매핑하며 출현하는 통합 신뢰 모델을 제안한다.

ABSTRACT

A significant challenge to measuring human-automation trust is the amount of construct proliferation, models, and questionnaires with highly variable validation. However, all agree that trust is a crucial element of technological acceptance, continued usage, fluency, and teamwork. Herein, we synthesize a consensus model for trust in human-automation interaction by performing a meta-analysis of validated and reliable trust survey instruments. To accomplish this objective, this work identifies the most frequently cited and best-validated human-automation and human-robot trust questionnaires, as well as the most well-established factors, which form the dimensions and antecedents of such trust. To reduce both confusion and construct proliferation, we provide a detailed mapping of terminology between questionnaires. Furthermore, we perform a meta-analysis of the regression models that emerged from those experiments which used multi-factorial survey instruments. Based on this meta-analysis, we demonstrate a convergent experimentally validated model of human-automation trust. This convergent model establishes an integrated framework for future research. It identifies the current boundaries of trust measurement and where further investigation is necessary. We close by discussing choosing and designing an appropriate trust survey instrument. By comparing, mapping, and analyzing well-constructed trust survey instruments, a consensus structure of trust in human-automation interaction is identified. Doing so discloses a more complete basis for measuring trust emerges that is widely applicable. It integrates the academic idea of trust with the colloquial, common-sense one. Given the increasingly recognized importance of trust, especially in human-automation interaction, this work leaves us better positioned to understand and measure it.

연구 동기 및 목표

• 가장 많이 인용되고 검증된 인간-자동화 및 인간-로봇 신뢰 설문지를 식별한다.
• 다양한 신뢰 도구 간 용어를 매핑하고 조정하여 구성의 확산을 줄인다.
• 다요인 신뢰 도구를 사용한 연구의 회귀 모형에 대한 메타분석을 수행하여 HAI에서의 수렴적 신뢰 모델을 도출한다.
• 미래의 신뢰 설문조사 선택 및 설계를 안내하기 위해 도구의 신뢰성과 타당성을 평가한다.
• HAI 연구에서 신뢰 설문 도구를 선택하고 설계하기 위한 실용적 프레임워크를 개괄한다.]
• method([

제안 방법

• PRISMA 류의 접근법을 사용하여 HCI, HRI, HAI의 광범위한 문헌에서 신뢰 도구를 체계적으로 식별한다.
• 도구를 단일요인 및 다요인 범주로 분류하고 사용 및 영향력을 평가한다.
• 내적 일관성 지표(Cronbach’s alpha, Guttman’s lambda-6, McDonald’s omega)를 사용하여 도구의 신뢰성을 평가하고 그 가정과 한계를 논의한다.
• 탐색적 및 확인적 요인 분석을 포함한 내용, 구성 및 통계적 타당도 기준을 통해 타당도를 평가한다.
• 도구 간의 용어 및 요인을 비교하고 매핑하여 HAI에서의 신뢰 구성에 대한 통합 관점을 도출한다.
• 도구를 완전한 신뢰성 및 타당성, 일부 신뢰성 및 타당성, 또는 신뢰성 또는 타당성 없음으로 분류하기 위한 기준을 제공한다.]
• research_questions:[

실험 결과

연구 질문

• RQ1 HAI/HRI/HAI 문헌에서 가장 많이 인용되고 가장 잘 검증된 신뢰 설문 도구는 무엇인가?
• RQ2 다요인 신뢰 도구에서 공통적인 요인이나 차원이 무엇이며 서로 어떻게 관련되어 있는가?
• RQ3 기존의 신뢰 도구로부터 수렴적인 출현 모델의 인간-자동화 신뢰를 도출할 수 있는가?
• RQ4 향후 HAI 연구를 위한 신뢰 설문지 선택 또는 설계를 위한 지침은 무엇인가?
• RQ5 인간-자동화 상호작용의 신뢰 측정에서 어떤 공백과 불확실성이 남아 있는가?

주요 결과

• 이 분야는 단일 항목, 두 항목, 다항목 도구의 혼합으로 나타나며, 지난 10년간 다항목 설문조사의 증가가 두드러진다.
• 열두 도구가 검토에서 인용의 거의 절반을 차지하여 주요 도구들이 실무를 지배하지만 세부 분야에 따라 적용 가능성이 다르다.
• 신뢰성 및 타당도 보고가 일관되지 않으며 도구의 약 24%가 타당도/신뢰성 분석을 보이지 않고, 단일 요인 도구의 경우 타당성과 신뢰성을 모두 보고하는 도구는 17%에 불과하다.
• 구조화된 평가 프레임워크는 도구를 완전한 신뢰성/타당성, 일부 신뢰성/타당성 또는 신뢰성/타당성 없음으로 분류하여 측정 간 품질 차이를 강조한다.
• 검증된 설문 도구의 합성과 메타분석에 기초하여 수렴적이고 실험적으로 검증된 신뢰 모델이 제안되며, 향후 연구를 위한 통합 프레임워크를 제공한다.
• 본 연구는 신뢰 도구의 선택과 설계에 대한 지침을 제공하고 현재의 측정 경계와 추가 검증이 필요한 영역을 식별한다.