[논문 리뷰] A Psychological Theory of Explainability

Scott Cheng‐Hsin Yang, Tomas Folke외 1명|arXiv (Cornell University)|2022. 05. 17.

Explainable Artificial Intelligence (XAI)인용 수 7

한 줄 요약

이 논문은 인간이 AI가 생성한 샐류티 맵 설명을 어떻게 해석하는지를 모델링하기 위해 정신적 모델을 투영하고, 유사성 공간 내에서 실리어의 보편적 일반화 법칙을 통해 일반화하는 심리학적 설명 가능성 이론을 제안한다. 이 이론은 사전 등록된 사용자 연구에서 인간의 추론을 정량적으로 예측하며, 피어슨 상관계수 .86의 상관관계를 보이며, XAI 분야에서 인간의 설명 해석을 수학적으로 형식화하고 경험적으로 검증된 최초의 모델을 제공한다.

ABSTRACT

The goal of explainable Artificial Intelligence (XAI) is to generate human-interpretable explanations, but there are no computationally precise theories of how humans interpret AI generated explanations. The lack of theory means that validation of XAI must be done empirically, on a case-by-case basis, which prevents systematic theory-building in XAI. We propose a psychological theory of how humans draw conclusions from saliency maps, the most common form of XAI explanation, which for the first time allows for precise prediction of explainee inference conditioned on explanation. Our theory posits that absent explanation humans expect the AI to make similar decisions to themselves, and that they interpret an explanation by comparison to the explanations they themselves would give. Comparison is formalized via Shepard's universal law of generalization in a similarity space, a classic theory from cognitive science. A pre-registered user study on AI image classifications with saliency map explanations demonstrate that our theory quantitatively matches participants' predictions of the AI.

연구 동기 및 목표

• 현재 XAI 검증이 경험적이고 사례 기반임에 따라 인간이 AI 설명을 해석하는 방식에 대한 공식적이고 계산적으로 정밀한 이론이 부족한 문제를 해결하기 위해.
• 특히 신념 투영과 유사성 공간 내 일반화 원리를 활용해, 샐류티 맵 설명으로부터 인간의 추론을 형식화하는 이론을 개발하기 위해.
• 심리적으로 타당하고 경험적으로 검증 가능한 인간 설명 해석 예측 모델을 구축하기 위해.
• 사용자 연구에 의존하는 것을 줄이고, 이론 기반의 평가 및 XAI 방법의 설계를 가능하게 하기 위해.
• 실리어의 보편적 일반화 법칙과 같은 인간 인지의 확립된 이론에 기반해, 인지과학과 기계학습을 연결함으로써 XAI를 인간 인지 이론에 뿌리내리게 하기 위해.

제안 방법

• 이론은 인간이 자신의 신념을 AI 시스템에 투영하고, 자가 생성한 설명과 AI가 생성한 설명을 공통의 유사성 공간에서 비교함으로써 이를 업데이트한다고 가정한다.
• 일반화는 실리어의 보편적 일반화 법칙을 통해 수식화되며, 이는 심리적 공간 내 거리의 함수로서 유사성을 정의한다.
• 자기 생성된 설명과 AI가 생성한 설명 간의 유사성에 기반해 인간의 추론 가능성 확률을 계산하는 인지 모델을 구축한다.
• 참가자가 샐류티 맵을 기반으로 AI 이미지 분류를 추론하는 사전 등록된 사용자 연구를 통해 모델을 검증한다.
• 예측 성능 평가를 위해 모델 예측을 인간의 반응과 비모수적 상관계수(Spearman’s rho)로 비교한다.
• 민감도 분석을 통해 유사성 공간과 일반화 법칙을 다양하게 변화시켜 모델의 강건성을 테스트하며, 심리적 타당성을 확인한다.

실험 결과

연구 질문

• RQ1 사람들은 어떻게 샐류티 맵 설명으로부터 AI 결정을 추론하는가?
• RQ2 신념 투영과 유사성 기반 일반화에 기반한 인지 모델을 사용해 인간의 AI 설명 추론을 어느 정도 정확하게 예측할 수 있는가?
• RQ3 인지과학에 기반한 심리학적 이론은 인간의 설명 해석을 예측하는 데 있어 블랙박스 기계학습 모델보다 뛰어난가?
• RQ4 유사성 공간이나 일반화 법칙의 변화가 모델의 예측 성능와 심리적 타당성에 어떤 영향을 미치는가?
• RQ5 공식적인 설명 가능성 이론은 XAI 평가에서 반복적이고 고비용인 사용자 연구의 필요성을 줄일 수 있는가?

주요 결과

• 제안된 인지 모델은 샐류티 맵 설명으로부터 인간의 추론을 정량적으로 예측하며, 피어슨 상관계수 .86의 상관관계를 보이며 인간 반응과 강한 정량적 일치를 보였다.
• 심리적 타당성이 떨어지는 방식으로 유사성 공간이나 일반화 법칙을 변경할 경우 예측 성능이 떨어졌으며, 이는 모델의 이론적 기반을 확인하는 데 기여했다.
• 모델은 설명의 정밀도 변화를 성공적으로 포착했으며, 모델 성능이 저하된 경우(89张 중 33장)에도 불구하고 낮은 품질의 설명에 대해 강건함을 입증했다.
• 모델은 일반화 능력 부족과 감사 가능성 문제를 피하면서도 인간의 추론 과정을 명시적으로 모델링함으로써, 블랙박스 기계학습 접근 방식을 능가했다.
• 결과적으로, 특히 신념 투영과 유사성 기반 일반화와 같은 확립된 인지과학 원리가 인간의 설명 해석을 정확하고 재사용 가능한 방식으로 모델링하는 데 사용될 수 있음을 검증했다.
• 이 프레임워크는 기존의 추상 영역에서의 유사성 판단에 관한 인지과학 문헌을 활용해, 비시각적 데이터(예: 표 형태, 텍스트)로도 일반화할 수 있다.