[논문 리뷰] To Trust or Distrust Trust Measures: Validating Questionnaires for Trust in AI

Nicolas Scharowski, Sebastian A. C. Perrig외 5명|arXiv (Cornell University)|2024. 03. 01.

Explainable Artificial Intelligence (XAI)인용 수 5

한 줄 요약

이 연구는 두 신뢰 설문지(TPA 및 TAI)를 AI 맥락에서 검증하여 TAI가 양호한 심리측정 특성을 보이고 반면 TPA는 두 요인 신뢰/불신 모델과 항목 정교화의 이점을 얻는다.

ABSTRACT

Despite the importance of trust in human-AI interactions, researchers must adopt questionnaires from other disciplines that lack validation in the AI context. Motivated by the need for reliable and valid measures, we investigated the psychometric quality of two trust questionnaires, the Trust between People and Automation scale (TPA) by Jian et al. (2000) and the Trust Scale for the AI Context (TAI) by Hoffman et al. (2023). In a pre-registered online experiment (N = 1485), participants observed interactions with trustworthy and untrustworthy AI (autonomous vehicle and chatbot). Results support the psychometric quality of the TAI while revealing opportunities to improve the TPA, which we outline in our recommendations for using the two questionnaires. Furthermore, our findings provide additional empirical evidence of trust and distrust as two distinct constructs that may coexist independently. Building on our findings, we highlight the opportunities and added value of measuring both trust and distrust in human-AI research and advocate for further work on both constructs.

연구 동기 및 목표

• AI 설정에서 TPA(Trust Between People and Automation) 척도의 심리측정 품질을 평가한다.
• AI 맥락을 위한 신뢰 척도(TAI)의 심리측정 품질을 평가한다.
• 두 척도를 비교하고 AI 연구를 위한 사용 권고를 제공한다.
• 인간-AI 상호작용에서 신뢰와 불신이 구별된 구성요인인지 조사한다.

제안 방법

• 애플리케이션(챗봇 대 자동 운전 차량) 및 신뢰 조건(신뢰할 수 있음 대 신뢰할 수 없음)을 조작한 2x2 혼합 설계의 사전 등록 온라인 실험(N=1485).
• 참가자들은 두 개의 사전 녹화된 AI 상호작용을 보았고 각 시나리오 후에 TPA, TAI 및 추가 측정을 완료했다.
• TPA 항목은 원래에서 'system'을 'AI'로 대체하고 불신을 위한 부정적 진술 다섯 항목을 재부호화하여 적응시켰다.
• TAI는 AI 맥락에 맞춰 부정적 진술 한 항목을 포함한 여덟 항목으로 구성되었다.
• 구인 타당성은 확인적 요인분석으로 검증했고; TPA에 대해서는 탐색적 요인분석으로 강건성을 점검했다.
• 신뢰도는 Cronbach의 알파 및 McDonald의 omega로 평가했다.

Figure 1: An illustration of the 2x2 online experiment stimuli by condition (trustworthy vs. untrustworthy) and application (chatbot vs. automated vehicle), constituting four scenarios in total.

실험 결과

연구 질문

• RQ1 TPA와 TAI 척도가 AI 맥락에서 신뢰할 수 있고 타당한 심리측정 특성을 보이는가?
• RQ2 TPA가 단일 요인보다 두 요인 모형(신뢰와 불신)으로 최적 표현되는가?
• RQ3 TAI가 AI 설정에서 강한 구성타당성과 신뢰성을 보이는가?
• RQ4 신뢰와 불신이 AI 상호작용에서 정서 및 상황적 신뢰 측정과 어떻게 관련되는가?

주요 결과

• TAI는 강한 심리측정 특성을 보이며 대체로 단일 요인 신뢰 모형에 적합하다.
• TPA는 단일 요인 모형에서 적합도가 다소 미흡하지만 두 요인 모형(신뢰와 불신)은 해석을 개선한다.
• 신뢰와 불신은 구별되는 구성개념으로 공존할 수 있으며 AI 연구에서 별도로 측정해야 한다.
• 연구는 신뢰와 불신 측정 모두를 사용할 것을 권장하고 AI 맥락에서 적응된 척도의 타당화를 강조한다.
• 두 개의 적용 영역(고위험 AV 및 저위험 채팅봇)에서 신뢰할 수 있는 AI와 불신의 조건이 효과적으로 조작되어 조작 타당성을 뒷받침한다.