[논문 리뷰] Modeling Reliance on XAI Indicating Its Purpose and Attention

Akihiro Maehigashi, Yosuke Fukuchi외 1명|arXiv (Cornell University)|2023. 02. 16.

Ethics and Social Impacts of AI인용 수 4

한 줄 요약

이 연구는 설명 가능한 인공지능(XAI) 기능—특히 AI 목적 공개와 주의 히트맵—이 인간의 신뢰도와 의존도에 미치는 영향을 조사한다. 구조적 근거 모델링( SEM )을 사용하여, 목적 설명은 쉬운 작업(준수)에서 신뢰를 증진시키는 반면, 히트맵은 해석 가능할 경우에만 신뢰를 향상시키며, 특히 어려운 작업(졸림 감지)에서는 해석 가능성이 낮은 히트맵이 신뢰를 감소시킴을 발견한다.

ABSTRACT

This study used XAI, which shows its purposes and attention as explanations of its process, and investigated how these explanations affect human trust in and use of AI. In this study, we generated heat maps indicating AI attention, conducted Experiment 1 to confirm the validity of the interpretability of the heat maps, and conducted Experiment 2 to investigate the effects of the purpose and heat maps in terms of reliance (depending on AI) and compliance (accepting answers of AI). The results of structural equation modeling (SEM) analyses showed that (1) displaying the purpose of AI positively and negatively influenced trust depending on the types of AI usage, reliance or compliance, and task difficulty, (2) just displaying the heat maps negatively influenced trust in a more difficult task, and (3) the heat maps positively influenced trust according to their interpretability in a more difficult task.

연구 동기 및 목표

• AI 목적 공개와 주의 히트맵이 AI 시스템에 대한 인간의 신뢰도와 의존도에 미치는 영향을 조사하기 위해.
• 작업 난이도가 XAI 설명의 영향이 신뢰도와 준수에 미치는 영향을 조절하는 역할을 하는지 조사하기 위해.
• 특히 복잡한 의사결정 맥락에서 주의 히트맵의 해석 가능성 여부가 AI에 대한 신뢰도에 중재 역할을 하는지 평가하기 위해.
• 알고리즘 회피를 해결하기 위해 투명한 AI 설명이 신뢰도 캘리브레이션 향상과 AI 오류에 대한 불신 감소에 기여하는지 평가하기 위해.
• 의존도(작업 위임)와 준수(AI 출력 수용)를 XAI의 서로 다른 행동 결과로 구분하기 위해.

제안 방법

• 이미지 기반 작업에서 AI의 주의를 시각화하기 위해 Grad-CAM을 사용하여 고해석성 및 저해석성 주의 히트맵을 생성하였다.
• 히트맵의 해석 가능성 여부를 인간 인지 테스트를 통해 검증하기 위해 실험 1을 실시하였다.
• 더 쉬운 비만 스크리닝 작업과 더 어려운 졸림 감지 작업을 포함한 실험 2를 수행하였다.
• 의존도(결정 위임)와 준수(결정 수용)를 행동 결과로 수집하였다.
• 구조적 근거 모델링( SEM )을 적용하여 목적 공개, 히트맵 해석 가능성, 신뢰도(인지적 및 정서적), 의존도/준수 간의 인과관계를 분석하였다.
• 목적 표시와 주의 시각화의 영향을 신뢰도 및 행동에 고립시키기 위해 통제된 조건을 사용하였다.

실험 결과

연구 질문

• RQ1 AI 시스템의 목적을 표시하는 것이 다양한 작업 맥락에서 인간의 신뢰도와 의존도에 어떤 영향을 미치는가?
• RQ2 주의 히트맵이 신뢰도와 준수에 미치는 영향은 무엇이며, 이는 작업 난이도에 따라 달라지는가?
• RQ3 AI가 생성한 히트맵의 해석 가능성은 인공지능에 대한 인지적 및 정서적 신뢰도에 어떤 영향을 미치는가?
• RQ4 히트맵의 존재는 고난이도 작업에서 알고리즘 회피를 증가시키는가, 감소시키는가?
• RQ5 의존도와 준수의 XAI 설명(목적 및 주의)에 대한 민감도는 어떻게 다를 수 있는가?

주요 결과

• 더 쉬운 비만 스크리닝 작업에서는 AI 목적 공개가 준수 모델에서 신뢰도를 긍정적으로 영향을 주었지만, 더 어려운 졸림 감지 작업에서는 의존도 모델에서 신뢰도에 부정적 영향을 미쳤다.
• 해석 가능성이 낮은 히트맵을 단순히 표시하는 것은 고난이도 작업인 졸림 감지 작업에서 신뢰도에 부정적 영향을 미쳤다.
• 졸림 감지 작업의 준수 모델에서 히트맵의 해석 가능성은 인지적 및 정서적 신뢰도를 모두 긍정적으로 영향을 주었다.
• 졸림 감지 작업에서 주의 히트맵의 해석 가능성 수준이 높을수록 정서적 신뢰도가 증가하여 잠재적인 인간화 효과가 있을 수 있음을 시사한다.
• 졸림 감지 작업에서 인지적 신뢰도는 의존도 및 준수에 부정적 영향을 미쳤다. 이는 참가자들이 AI가 학습을 통해 향상될 것이라 기대했기 때문일 수 있다.
• 결과적으로 XAI 설명이 의미 있는(목적)이고 시각적으로 해석 가능한(고품질 히트맵) 경우에 가장 효과적이며, 특히 복잡하고 고위험 맥락에서 그러한 효과가 두드러진다.