[논문 리뷰] Trust and Reliance in XAI -- Distinguishing Between Attitudinal and Behavioral Measures

Nicolas Scharowski, Sebastian A. C. Perrig외 2명|arXiv (Cornell University)|2022. 03. 23.

Personal Information Management and User BehaviorDecision Sciences인용 수 17

한 줄 요약

이 논문은 XAI 연구에서 태도적 신뢰와 행동적 의존성 간의 핵심적 구분을 주장하며, 이러한 구성요소를 혼동할 경우 투명도의 영향에 대한 일관성 없는 결과가 도출된다고 밝힌다. 설문 조사로 신뢰를, 행동 지표로 의존성을 별도로 측정함으로써, 측정의 엄밀함을 높이고 XAI 평가의 모호성을 해소할 수 있는 이론적 기반을 제공한다.

ABSTRACT

Trust is often cited as an essential criterion for the effective use and real-world deployment of AI. Researchers argue that AI should be more transparent to increase trust, making transparency one of the main goals of XAI. Nevertheless, empirical research on this topic is inconclusive regarding the effect of transparency on trust. An explanation for this ambiguity could be that trust is operationalized differently within XAI. In this position paper, we advocate for a clear distinction between behavioral (objective) measures of reliance and attitudinal (subjective) measures of trust. However, researchers sometimes appear to use behavioral measures when intending to capture trust, although attitudinal measures would be more appropriate. Based on past research, we emphasize that there are sound theoretical reasons to keep trust and reliance separate. Properly distinguishing these two concepts provides a more comprehensive understanding of how transparency affects trust and reliance, benefiting future XAI research.

연구 동기 및 목표

• 신뢰에 대한 투명도의 영향에 대한 일관성 없는 경험적 결과를 해결하기 위해, 신뢰와 의존성 간의 개념적 혼동을 밝히는 것.
• 신뢰(태도적, 주관적 구성요소)와 의존성(행동적, 객관적 결과)은 이론적으로 구별되며, 운영적으로 혼동되어서는 안 된다는 것을 주장하는 것.
• 신뢰를 측정한다고 주장하면서도 행동 지표(예: 의존율)를 사용하는 것은 오해를 불러일으키고 잘못된 결론을 이끌 수 있음을 강조하는 것.
• 명확한 운영 정의와 측정 프레임워크를 제안함으로써 XAI에 더 엄격한 과학적 기반을 마련하는 것.
• 향후 연구에서 인간-AI 상호작용의 확립된 이론적 모델을 바탕으로 신뢰와 의존성을 동시에 측정할 것을 장려하는 것.

제안 방법

• 사회심리학과 인간-자동화 상호작용 이론에 기반하여, 신뢰를 심리적 태도로, 의존성을 관찰 가능한 행동으로 구분하는 이론적 프레임워크를 제안한다.
• 실증 XAI 연구(예: Lai & Tan, 2019; Cheng et al., 2019)를 검토하여, 운영 측면에서 의존성이 자주 신뢰로 잘못 라벨링되는 사례를 설명한다.
• Ajzen과 Fishbein(1980)의 태도-행동 관계 모델을 적용하여, 태도(예: 신뢰)가 행동(예: 의존성)을 결정적으로 예측하지는 않는다는 점을 강조한다.
• Lee와 See(2004), Hoff와 Bashir(2015) 등의 기존 신뢰 및 의존성 모델을 활용하여 개념적 분리를 정당화하고 측정 설계를 안내한다.
• 검증된 설문 척도를 통한 신뢰 측정과 직접적인 행동 관찰 또는 작업 성과 지표를 통한 의존성 측정을 병행하는 이중 측정 접근법을 권장한다.
• 현재 XAI 연구에서 개념적 일관성의 정도를 평가하고 표준화된 측정 프레임워크를 개발하기 위해 체계적 문헌 고찰을 요청한다.

실험 결과

연구 질문

• RQ1 현재 XAI 연구에서 신뢰와 의존성이 어느 정도 혼동되고 있으며, 이러한 혼동의 결과는 무엇인가?
• RQ2 왜 행동 지표로 의존성을 측정하면서도 이를 태도적 신뢰의 대체 지표로 사용하는 것이 이론적으로나 경험적으로 문제되는가?
• RQ3 신뢰와 의존성 간의 명확한 구분이 XAI 평가 연구의 타당성과 재현 가능성에 어떻게 기여할 수 있는가?
• RQ4 신뢰와 의존성을 동시에 측정하는 것이 인간-AI 상호작용에서 투명도의 영향을 이해하는 데 어떤 의미를 갖는가?
• RQ5 향후 XAI 연구는 주관적 태도와 객관적 행동을 구분하는 더 엄격한 측정 프레임워크를 어떻게 도입할 수 있는가?

주요 결과

• XAI 분야의 경험적 연구는 자주 행동적 의존성을 태도적 신뢰로 혼동하여, 투명도의 영향에 대한 모호하고 일관성 없는 결과를 초래한다.
• Lai와 Tan(2019)은 신뢰를 의존율(행동적 지표)로 운영화하였고, Cheng 등(2019)은 설문 기반의 신뢰 척도를 사용하였다—동일한 구성요소에 대해 서로 다른 측정 접근법을 적용한 사례이다.
• 신뢰와 의존성 간에는 결정적인 연결 고리가 없다: 상황적 요인, 인지적 요인, 또는 작업 부하 등으로 인해 높은 신뢰를 표현하면서도 낮은 의존성을 보일 수 있고, 반대로 낮은 신뢰를 표현하면서도 높은 의존성을 보일 수 있다.
• Lee와 See(2004)의 신뢰-의존성 프레임워크와 같은 이론적 모델은 신뢰가 의존성에 필수적이지만 충분하지 않다는 점을 보여주며, 별도의 측정이 필요함을 강조한다.
• 의존성을 신뢰로 잘못 라벨링하는 것은 결과의 오해를 초래하고, 특히 비교 연구에서 XAI 평가의 과학적 엄밀성을 약화시킨다.
• 검증된 척도를 통한 신뢰 측정과 행동 지표를 통한 의존성 측정을 병행하는 이중 측정 접근법이 정확하고 이론에 기반한 XAI 연구를 위해 필수적이다.