[논문 리뷰] Logical Explanations for Deep Relational Machines Using Relevance Information

Ashwin Srinivasan, Lovekesh Vig외 1명|arXiv (Cornell University)|2018. 07. 02.

Explainable Artificial Intelligence (XAI)인용 수 12

한 줄 요약

이 논문은 깊이 있는 관계 기반 기계(DRMs)의 예측에 대해 논리적이고 기호적인 설명을 생성하기 위한 방법을 제안한다. 이는 관련성 정보를 사전 조건으로 사용한다. 일阶 논리 특징의 무작위 문맥화와 베이즈 유사 점수 기반 접근법을 결합함으로써, 최첨단의 예측 성능를 달성하고 지역적으로 정확하며 의미 있는 논리적 설명을 생성한다. 이러한 설명은 도메인 특화의 관련성을 반영하여 정확도를 희생시키지 않은 채 해석 가능성성을 향상시킨다.

ABSTRACT

Our interest in this paper is in the construction of symbolic explanations for predictions made by a deep neural network. We will focus attention on deep relational machines (DRMs, first proposed by H. Lodhi). A DRM is a deep network in which the input layer consists of Boolean-valued functions (features) that are defined in terms of relations provided as domain, or background, knowledge. Our DRMs differ from those proposed by Lodhi, which use an Inductive Logic Programming (ILP) engine to first select features (we use random selections from a space of features that satisfies some approximate constraints on logical relevance and non-redundancy). But why do the DRMs predict what they do? One way of answering this is the LIME setting, in which readable proxies for a black-box predictor. The proxies are intended only to model the predictions of the black-box in local regions of the instance-space. But readability alone may not enough: to be understandable, the local models must use relevant concepts in an meaningful manner. We investigate the use of a Bayes-like approach to identify logical proxies for local predictions of a DRM. We show: (a) DRM's with our randomised propositionalization method achieve state-of-the-art predictive performance; (b) Models in first-order logic can approximate the DRM's prediction closely in a small local region; and (c) Expert-provided relevance information can play the role of a prior to distinguish between logical explanations that perform equivalently on prediction alone.

연구 동기 및 목표

• 깊이 있는 관계 기반 기계(DRMs)의 예측에 대해 읽기 쉽고 의미 있는 기호적 논리적 설명을 생성하는 방법을 개발하는 것.
• 기존의 프록시 기반 설명 방법을 향상시키기 위해 도메인 특화의 관련성 정보를 사전 조건으로 통합함으로써, 단순한 가독성을 넘어서 설명의 해석 가능성성을 향상시키는 것.
• 무작위 문맥화를 통해 구성된 DRMs가 전체 ILP 기반 특징 선택이 필요 없이도 최첨단의 예측 성능를 달성할 수 있음을 입증하는 것.
• 관련성 유도 사전 조건이 논리적으로 동치인 설명들 사이를 구분하여 전문 지식과 일치하는 것을 선호하는 방식으로 작용하는지 조사하는 것.
• 미래의 인과적 설명 및 모델 예측의 인간 이해 가능성에 대한 연구 기반을 마련하는 것.

제안 방법

• 배경 지식에서 일阶 논리 특징을 생성하기 위해 무작위 문맥화 방법을 사용하여 전체 ILP 기반 특징 선택이 필요 없도록 한다.
• 이러한 논리 기반 특징에 기반해 딥 네ural 네트워크(DRM)를 훈련시켜 고정확도의 예측을 도출한다.
• 로컬 기호적 설명은 인스턴스 공간의 작은 영역에서 DRM의 예측을 근사하는 논리 모델을 구성함으로써 생성된다.
• 후보 기호적 설명을 순위 매기기 위해 베이즈 유사 점수 함수를 적용하며, 이는 예측 정확도(우도)와 전문 지식에서 유도된 관련성 기반 사전 조건을 통합한다.
• 관련성 사전 조건은 특정 술어나 논리 조합을 선호하는 방식으로 표현되며, 의미 있는 개념이 무엇인지에 대한 도메인 전문 지식을 반영한다.
• 기호적 학습기법을 사용해 지역적으로 정확하고 도메인 지식에 기반한 의미론적 기반을 가진 일阶 논리 설명을 생성한다.

실험 결과

연구 질문

• RQ1 무작위 문맥화 방법을 통해 전체 ILP 특징 선택 없이도 최첨단의 예측 성능를 달성하는 DRM을 구성할 수 있는가?
• RQ2 일阶 논리 모델이 DRM 예측에 대해 정확하고 의미 있는 로컬 설명으로 기능할 수 있는가?
• RQ3 전문가가 제공한 관련성 정보가 논리적으로 동치인 설명들 사이를 구분하는 효과적인 사전 조건으로 작용할 수 있는가?
• RQ4 관련성 기반 사전 조건을 통합함으로써 기호적 설명의 해석 가능성은 단순한 가독성 초월해 어떻게 향상되는가?
• RQ5 이러한 설명들이 도메인 특화 지식을 어느 정도 반영하고, 부적절하거나 관련 없는 논리적 구성요소를 피할 수 있는가?

주요 결과

• 제안된 무작위 문맥화 방법을 사용해 구성된 DRMs는 작은 훈련 데이터셋 조건에서도 최첨단의 예측 성능를 달성한다.
• 일阶 논리 모델은 인스턴스 공간의 작은 지역에서 DRM 예측을 밀도 있게 근사할 수 있으며, 이는 이러한 모델이 로컬 설명으로서의 활용 가능성을 검증한다.
• 전문가가 제공한 관련성 정보는 동치이지만 덜 관련성이 있는 대안보다 개념적으로 의미 있는 논리 형식을 선호함으로써 설명 품질을 크게 향상시킨다.
• 관련성 사전 조건을 통합한 베이즈 유사 접근법은 예측 정확도와 의미론적 관련성을 효과적으로 균형 잡아, 정확하고 해석 가능한 설명을 생성한다.
• 이 방법은 기호적 설명이 예측 가능하고 의미 있는 동시에, 순수히 가독성만 확보한 채 이해하기 어려운 모델의 한계를 해결함을 보여준다.
• 실험 결과는 이 접근법이 기존의 프록시 기반 방법보다 더 나은 성능를 보이며, 단순히 가독성뿐 아니라 도메인 관련 개념에 기반한 설명을 생성함을 입증한다.