[논문 리뷰] Are Visual Explanations Useful? A Case Study in Model-in-the-Loop Prediction

Eric Chu, Deb Roy외 1명|arXiv (Cornell University)|2020. 07. 23.

Explainable Artificial Intelligence (XAI)인용 수 28

한 줄 요약

이 연구는 모델-인-더-러프 연령 예측 환경에서 시각적 설명이 인간의 정확도와 신뢰도를 향상시키는지 여부를 조사한다. 고급, 유사한, 무작위 모델에서 유도된 선명도 맵을 사용한 무작위 대조 시험을 통해 설명의 품질에 관계없이 인간의 성능, 신뢰도, 이해도에 유의미한 영향을 주지 않는다는 것을 발견하였다.

ABSTRACT

We present a randomized controlled trial for a model-in-the-loop regression task, with the goal of measuring the extent to which (1) good explanations of model predictions increase human accuracy, and (2) faulty explanations decrease human trust in the model. We study explanations based on visual saliency in an image-based age prediction task for which humans and learned models are individually capable but not highly proficient and frequently disagree. Our experimental design separates model quality from explanation quality, and makes it possible to compare treatments involving a variety of explanations of varying levels of quality. We find that presenting model predictions improves human accuracy. However, visual explanations of various kinds fail to significantly alter human accuracy or trust in the model - regardless of whether explanations characterize an accurate model, an inaccurate one, or are generated randomly and independently of the input image. These findings suggest the need for greater evaluation of explanations in downstream decision making tasks, better design-based tools for presenting explanations to users, and better approaches for generating explanations.

연구 동기 및 목표

• 모델-인-더-러프 환경에서 고급 시각적 설명이 인간의 의사결정 정확도를 향상시키는지 평가하기.
• 결함이 있거나 무작위인 설명이 모델 예측에 대한 인간의 신뢰도를 감소시키는지 평가하기.
• 복잡한 실생활 인지 과제에서 설명 품질과 모델 성능의 영향을 분리하여 분석하기.
• 설명이 편향되거나 정확하지 않은 모델을 식별하는 데 사용되는 인증 수단으로 기능할 수 있는지 조사하기.
• 충실한 설명이 본질적으로 인간-AI 협업을 향상시킨다는 가정에 도전하기.

제안 방법

• 웹 기반 플랫폼을 통해 1,000명 이상의 참가자를 대상으로 이미지 기반 연령 예측을 위한 무작위 대조 시험(RCT)을 실시하였다.
• APPA-REAL 데이터셋에 맞추어 미세조정된 와이드 리스넷 모델을 사용하여 5.24 MAE(인간 수준에 근접한 성능)를 달성하였다.
• 세 가지 유형의 시각적 설명을 생성: 통합 기울기(충실한), 허위 상관관계를 가진 모델에서 유도된 선명도, 입력에 무관한 무작위 맵.
• 모델 예측, 설명 유형, 모델 성능 기술의 다양한 조합을 가진 치료군에 참가자를 배정하였다.
• 사전 인간 추측에 비해 모델이 성능을 높였거나 떨어진 경우가 동일한 비율로 포함되도록 데이터셋을 균형화하였다.
• 인간의 정확도, 예측에 대한 신뢰도, 모델 행동에 대한 이해도 등을 측정하였다.

실험 결과

연구 질문

• RQ1 고품질의 시각적 설명을 제공할 경우 모델-인-더-러프 연령 예측에서 인간의 정확도가 유의미하게 향상되는가?
• RQ2 결함이 있거나 무작위인 설명은 모델 예측에 대한 인간의 신뢰도를 유의미하게 감소시키는가?
• RQ3 설명의 품질이 다양할 경우 인간의 성능이나 신뢰도에 측정 가능한 차이가 존재하는가?
• RQ4 시각적 설명이 사용자가 모델 편향이나 오류를 탐지하는 데 도움이 되는 인증 메커니즘으로 기능할 수 있는가?
• RQ5 설명의 존재 여부가 품질에 관계없이 인간의 모델 행동 이해도에 영향을 미치는가?

주요 결과

• 모델 예측을 단독으로 제공하는 것만으로도 인간의 정확도가 모델 지원이 없는 경우보다 유의미하게 향상되었다.
• 충실한, 허위의, 또는 무작위인 다양한 품질의 시각적 설명은 인간의 정확도에 유의미한 영향을 주지 않았다.
• 명백히 신뢰할 수 없는 무작위 설명조차도 인간의 모델 예측에 대한 신뢰도를 감소시키지 못했다.
• 고품질 설명이 포함된 치료군과 무작위 또는 결함이 있는 설명이 포함된 치료군 간에 신뢰도나 이해도에 유의미한 차이가 없었다.
• 시각적 선명도 설명의 품질은 모델-인-더-러프 작업에서 인간의 의사결정 결과에 영향을 주지 않았다.
• 본 연구는 픽셀 수준의 기여도 설명이 후속 인간-AI 협업을 향상시키는 데 효과적이지 않을 수 있음을 시사한다.