[논문 리뷰] Eliminating The Impossible, Whatever Remains Must Be True

Jinqiang Yu, Alexey Ignatiev외 3명|arXiv (Cornell University)|2022. 06. 20.

Explainable Artificial Intelligence (XAI)인용 수 7

한 줄 요약

이 논문은 블랙박스 기계학습 모델을 위한 공식적 설명 방법을 제안하며, 배경 지식을 통합하여 더 간결한 '왜' 설명과 더 정확한 '왜 아니면' 설명을 생성한다. 이는 불가능한 반례를 제거함으로써 달성된다. 규칙 유도를 통해 배경 지식을 추출하고, 설명을 그에 따라 검증함으로써 설명의 해석 가능성과 정확성을 향상시키며, 추론 과정의 감사 가능성을 보장한다.

ABSTRACT

The rise of AI methods to make predictions and decisions has led to a pressing need for more explainable artificial intelligence (XAI) methods. One common approach for XAI is to produce a post-hoc explanation, explaining why a black box ML model made a certain prediction. Formal approaches to post-hoc explanations provide succinct reasons for why a prediction was made, as well as why not another prediction was made. But these approaches assume that features are independent and uniformly distributed. While this means that "why" explanations are correct, they may be longer than required. It also means the "why not" explanations may be suspect as the counterexamples they rely on may not be meaningful. In this paper, we show how one can apply background knowledge to give more succinct "why" formal explanations, that are presumably easier to interpret by humans, and give more accurate "why not" explanations. In addition, we show how to use existing rule induction techniques to efficiently extract background information from a dataset, and also how to report which background information was used to make an explanation, allowing a human to examine it if they doubt the correctness of the explanation.

연구 동기 및 목표

• 기존의 후행 해석 방법이 특성 간 상관관계가 없고 균일하게 분포되어 있다고 가정하는 데서 비롯되는 한계를 해결하기 위해, 이는 너무 길거나 오해의 소지가 있는 설명을 초래할 수 있다.
• 분야에 특화된 배경 지식을 통합함으로써 '왜' 설명의 간결성과 해석 가능성을 향상시키기 위해.
• 배경 지식을 통해 부적절한 반례를 제거함으로써 '왜 아니면' 설명의 정확성을 향상시키기 위해.
• 규칙 유도 기법을 활용해 데이터셋에서 배경 지식을 자동으로 추출하는 방법을 개발하기 위해.
• 해설의 근거가 되는 구체적인 배경 지식을 보고함으로써 인간 감사자가 설명을 검증할 수 있도록 하기 위해.

제안 방법

• 배경 지식을 공식적 설명 생성에 통합하여 '왜 아니면' 설명에서 불가능한 반례를 걸러내기 위해.
• 훈련 데이터에서 논리적 제약 조건과 도메인 규칙을 자동으로 추출하기 위해 규칙 유도 기법을 사용하기 위해.
• 모델 예측에 대해 최소이면서 논리적으로 타당한 설명을 생성하기 위해 형식적 논리 추론을 적용하기 위해.
• 모델 행동과 배경 지식의 교차점을 기반으로 설명을 구성하여, 타당한 대안만 고려되도록 하기 위해.
• 각 설명에 사용된 구체적인 배경 규칙을 보고하여 투명성과 감사 가능성을 지원하기 위해.
• 모델와 배경 지식의 병합된 제약 조건 하에서 설명을 효율적으로 계산하기 위해 SAT 기반 추론을 활용하기 위해.

실험 결과

연구 질문

• RQ1 기본 지식을 효과적으로 활용하여 후행 XAI에서 '왜' 설명의 길이를 줄이고 해석 가능성을 향상시킬 수 있는가?
• RQ2 배경 지식을 통합함으로써 부적절한 반례를 제거함으로써 더 정확하고 의미 있는 '왜 아니면' 설명을 도출할 수 있는가?
• RQ3 데이터셋에서 배경 지식을 자동으로 추출하여 설명 생성을 지원할 수 있는가?
• RQ4 배경 지식의 통합이 공식적 설명의 신뢰성에 어느 정도 향상시키는가?
• RQ5 해설의 기원을 특정 배경 규칙을 보고함으로써 투명하게 만들 수 있는가?

주요 결과

• 배경 지식의 통합으로 중복되거나 불가능한 조건을 제거함으로써 '왜' 설명의 길이가 크게 줄어들었다.
• 도메인 제약 조건을 위반하는 반례를 제외함으로써 '왜 아니면' 설명이 더 정확해지고 타당성이 높아졌다.
• 규칙 유도 기법을 통해 데이터셋에서 의미 있는 배경 지식을 성공적으로 추출하였으며, 이는 설명 품질 향상에 활용되었다.
• 사용된 규칙을 명시적으로 보고함으로써 인간이 검증하기 쉬운 더 해석 가능한 설명이 생성되었다.
• 사례 연구를 통해 실제 데이터셋을 대상으로 실증한 결과, 공식적 정확성은 유지하면서 실용적 사용성까지 향상됨을 입증하였다.
• 대규모 모델과 데이터셋에 대해서도 효율적으로 스케일링되어 실세계 AI 시스템에서 공식적 설명의 실용적 구현을 가능하게 하였다.