[논문 리뷰] What I Cannot Predict, I Do Not Understand: A Human-Centered Evaluation Framework for Explainability Methods

Julien Colin, Thomas Fel외 2명|arXiv (Cornell University)|2021. 12. 06.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 세 가지 실제 응용 시나리오(편향 탐지, 새로운 전략 발견, 실패 사례 분석)에서 대규모 심리물리 실험(n=1,150)을 통해 인간 중심의 설명 가능성 평가 프레임워크를 제안한다. SmoothGrad가 가장 유용한 할당 방법임을 발견했으며, 신뢰성 지표는 인간의 유용성 예측에 실패함을 확인하여 설명 가능성 방법이 단지 '어디'가 아니라 '무엇'이 결정보다를 이끄는지를 전달해야 할 수 있음을 시사한다.

ABSTRACT

A multitude of explainability methods and associated fidelity performance metrics have been proposed to help better understand how modern AI systems make decisions. However, much of the current work has remained theoretical -- without much consideration for the human end-user. In particular, it is not yet known (1) how useful current explainability methods are in practice for more real-world scenarios and (2) how well associated performance metrics accurately predict how much knowledge individual explanations contribute to a human end-user trying to understand the inner-workings of the system. To fill this gap, we conducted psychophysics experiments at scale to evaluate the ability of human participants to leverage representative attribution methods for understanding the behavior of different image classifiers representing three real-world scenarios: identifying bias in an AI system, characterizing the visual strategy it uses for tasks that are too difficult for an untrained non-expert human observer as well as understanding its failure cases. Our results demonstrate that the degree to which individual attribution methods help human participants better understand an AI system varied widely across these scenarios. This suggests a critical need for the field to move past quantitative improvements of current attribution methods towards the development of complementary approaches that provide qualitatively different sources of information to human end-users.

연구 동기 및 목표

• 사용자 관점에서 실제 응용 시나리오에서 설명 가능성 방법의 실용적 유용성을 평가하기 위해.
• 현재의 신뢰성 지표가 최종 사용자에게서 할당 방법의 유용성을 정확히 반영하는지 확인하기 위해.
• 인간의 성능을 이해하는 데 있어 시각적 유사성 또는 설명의 복잡도가 얼마나 예측력이 있는지 조사하기 위해.
• 할당 방법이 복잡하거나 편향이 있는 결정 맥락에서 인간이 모델 행동을 이해하는 데 효과적으로 기여할 수 있는지 확인하기 위해.
• 이론적 지표를 넘어 실용적 사용성으로 나아가는 인간 중심의 평가 프레임워크를 제안하기 위해.

제안 방법

• 편향 탐지, 새로운 전략 발견, 실패 사례 이해라는 세 가지 실제 AI 결정 시나리오에서 총 1,150명의 참가자와 함께 대규모 심리물리 실험을 수행하였다.
• 예측 및 의사결정 과제에서 인간의 성능을 설명의 유용성에 대한 주요 측정 기준으로 사용하였다.
• 클래스 간 진단 이미지 영역 간의 시각적 유사도 점수를 계산하여, 시각적 모호성이 설명의 유용성에 영향을 미치는지 평가하였다.
• Grad-CAM, SmoothGrad, 통합 기울기 등 여러 할당 방법을 신뢰성 지표와 인간이 평가한 유용성 점수를 통해 평가하였다.
• 신뢰성 지표, 설명의 복잡도, 시각적 유사도, 실제 인간 성능 간의 상관관계를 분석하여 설명 실패의 예측 요소를 규명하였다.
• 모든 데이터와 코드를 공개하여 평가 프레임워크의 재현성 및 향후 활용 가능성을 보장하였다.

실험 결과

연구 질문

• RQ1 기존의 할당 방법은 실제 응용 시나리오에서 인간 사용자가 AI 모델 결정을 이해하는 데 얼마나 유용한가?
• RQ2 현재의 신뢰성 지표는 인간 사용자에게서 설명 가능성 방법의 실용적 유용성을 신뢰성 있게 예측할 수 있는가?
• RQ3 진단 이미지 영역 간의 시각적 유사도가 할당 지ap이 인간 이해를 돕는 데 영향을 미치는 정도는 어느 정도인가?
• RQ4 설명의 복잡도는 인간이 설명을 활용해 모델 결정을 이해하는 데 성능을 예측할 수 있는가?
• RQ5 설명의 '무엇'(의미적 내용)과 '어디'(공간적 위치)가 인간 해석 가능성에 어떤 역할을 하는가?

주요 결과

• SmoothGrad는 테스트된 모든 시나리오에서 인간 이해를 지원하는 데 가장 유용한 할당 방법이었다.
• 신뢰성 지표와 인간이 평가한 유용성 간에 유의미한 상관관계가 없었으며, 이는 신뢰성 지표가 실용적 유용성을 예측하는 데 빈약함을 시사한다.
• 진단 이미지 영역 간의 시각적 유사도 점수가 다른 지표들(신뢰성 또는 복잡도)보다 설명 실패를 더 잘 예측하였다.
• 설명의 복잡도와 인간 성능 간의 상관관계는 약했으며, 이는 복잡도가 설명 유용성의 주요 요소가 아님을 시사한다.
• 클래스 간 진단 특징이 시각적으로 유사할 경우(예: 고양이와 강아지 품종 간), 신뢰성 또는 복잡도에 관계없이 할당 방법이 인간 이해를 지원하지 못했다.
• 결과적으로 현재의 할당 방법은 설명이 결정보다를 이끄는 '무엇'을 전달하지 못하므로 인간 이해를 지원하는 데 근본적으로 한계가 있음을 시사한다.