[논문 리뷰] Weight of Evidence as a Basis for Human-Oriented Explanations

David Alvarez-Melis, Hal Daumé외 2명|arXiv (Cornell University)|2019. 10. 29.

Explainable Artificial Intelligence (XAI)참고 문헌 32인용 수 8

한 줄 요약

이 논문은 정보이론적 개념인 증거의 무게(Weight of Evidence, WoE)를 기반으로 한 인간 중심의 해석 프레임워크를 제안한다. 이는 인간의 해석에서 관찰되는 대조적, 선택적, 누적적 추론을 체계화한다. 설명을 조건부로 가중된 증거의 순서로 모델링함으로써, 직관적이고 확률론적으로 타당한 해석을 생성하며, 해석 가능성과 인지적 일치도에서 기존의 샐리언시 또는 할당 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Interpretability is an elusive but highly sought-after characteristic of modern machine learning methods. Recent work has focused on interpretability via $ extit{explanations}$, which justify individual model predictions. In this work, we take a step towards reconciling machine explanations with those that humans produce and prefer by taking inspiration from the study of explanation in philosophy, cognitive science, and the social sciences. We identify key aspects in which these human explanations differ from current machine explanations, distill them into a list of desiderata, and formalize them into a framework via the notion of $ extit{weight of evidence}$ from information theory. Finally, we instantiate this framework in two simple applications and show it produces intuitive and comprehensible explanations.

연구 동기 및 목표

• 철학, 인지과학, 사회과학 분야에서 도출된 핵심 원칙을 통해 기계가 생성하는 해석과 인간의 추론 간 격차를 메우는 것.
• 인간의 해석에 바람직한 특성인 대조성, 선택성, 누적적 구조를 수학적으로 탄탄한 프레임워크로 체계화하는 것.
• 복잡하고 고차원적인 모델에 일반적으로 적용 가능한, 인간의 인지적 선호도에 부합하는 해석 방법을 개발하는 것.
• 증거의 무게(Weight of Evidence)가 이론적으로 타당하고 실용적으로 효과적인 바탕이 되어 직관적이고 확률적으로 일관된 해석을 생성할 수 있음을 입증하는 것.

제안 방법

• 인간의 해석 원리를 수식화하여 대조성(대안 대비), 선택성(적은 수의 특징), 누적적 구조(단계별 추론)를 포함한 바람직한 조건으로 정의한다.
• 정보이론에서 유래한 증거의 무게(Weight of Evidence, WoE)를 핵심 수학적 기반으로 채택하며, 이는 한 가설에 대한 증거의 오즈 비율의 로그로 정의된다.
• 다단계이고 순서가 있는 해석을 지원하기 위해 WoE를 조건부 및 계층적 형태로 확장한다.
• 대상 클래스와 특징 부분집합 중 정규화된 WoE가 최대인 조합을 반복적으로 선택하는 메타알고리즘(알고리즘 1)을 제안한다.
• 특징 집합의 크기와 균형을 맞추기 위해 정규화 항 R(U)을 도입하여 너무 흐린 또는 너무 농축된 해석을 방지한다.
• 모델이 블랙박스일 경우, 훈련 데이터와 오라클 쿼리를 활용해 조건부 밀도 추정(예: 마스킹된 자동회귀 플로우)을 통해 WoE 점수를 추정한다.

실험 결과

연구 질문

• RQ1 기계가 생성하는 해석이 인간의 추론 방식과 해석 구조에서 얼마나 더 인간 중심적으로 개선될 수 있는가?
• RQ2 인간의 해석이 가지는 대조적, 선택적, 누적적 성격을 가장 잘 반영하는 수학적 프레임워크는 무엇인가?
• RQ3 정보이론에서 유래한 증거의 무게(Weight of Evidence)가 복잡한 모델에서 인간이 이해할 수 있는 해석을 생성하는 데 원칙적인 기초로 기능할 수 있는가?
• RQ4 고차원적이고 다중 클래스 설정에서 WoE는 어떻게 계층적이고 다단계 해석을 지원할 수 있는가?
• RQ5 WoE 기반 해석은 기존의 샐리언시 또는 할당 방법에 비해 해석 가능성에서 얼마나 향상되는가?

주요 결과

• 제안된 WoE 기반 프레임워크는 대조적 추론(예: '폐렴일 가능성은 감기보다 더 높다'), 반사적 추론, 선택적 특징 집중을 반영한 해석을 성공적으로 생성한다.
• 증거를 조건부로 가중된 기여도로 분해함으로써, 단계별로 누적되는 해석을 생성하며 인간의 추론 패턴을 모방한다.
• 특징을 의미 있는 속성 집합(예: MNIST에서 7×7 픽셀 블록)으로 분할함으로써 고차원 입력을 효과적으로 처리하고 해석 생성의 확장성을 확보한다.
• MNIST에서의 실증 평가 결과, 기계학습 모델이 블랙박스일지라도 해석이 일관되고 직관적이며 인간의 기대에 부합함을 입증하였다.
• 자동회귀 밀도 모델을 활용한 조건부 WoE 추정은 모델 내부 정보 없이도 정확한 증거 가중치 추정이 가능함을 보였다.
• 메타알고리즘의 정규화 항은 해석의 흐릿함을 효과적으로 제어하고 극단적인 특징 부분집합에 대한 과적합을 방지한다.