[논문 리뷰] Contrastive Explanations with Local Foil Trees

Jasper van der Waa, Marcel Robeer외 3명|arXiv (Cornell University)|2018. 06. 19.

Explainable Artificial Intelligence (XAI)참고 문헌 26인용 수 20

한 줄 요약

이 논문은 국소적 폭포 트리(foils tree)—목표 클래스(폭포, foil)와 나머지 모든 클래스를 구분하도록 훈련된 의사결정나무—를 사용하여 모델에 종속되지 않는 대비적 설명을 제안한다. 이 방법은 데이터 포인트가 사실(관측된 출력)으로 분류된 이유가 아니라 폭포(대안적 출력)로 분류되지 않은 이유를 설명하는 최소한의 규칙 기반 차이를 식별한다. 방법은 사실 리프 규칙을 폭포 리프 규칙에서 상대적 보완(complement)으로 계산하여, 다양한 모델과 데이터셋에서 높은 정밀도를 유지하면서도 인간이 이해할 수 있는 간결한 설명을 도출한다.

ABSTRACT

ContrastiveExplanation 0.2

연구 동기 및 목표

• 해석 가능한 머신러닝에서 기능 과잉 문제를 해결하기 위해 대비적 추론을 통해 설명 길이를 줄이는 것.
• '왜 이 결과가 아니라 다른 결과일까?'라는 질문에 답함으로써 인간과 유사한 설명 행동을 모델링하는 것.
• 사실과 폭포 클래스를 구분하는 데 기여하는 기능들에만 집중하는 간결한 규칙 기반 설명을 생성하는 방법을 개발하는 것.
• 국소적으로 훈련된 일대다 의사결정나무를 사용하여 대비 규칙을 추출함으로써 모델에 종속되지 않는 성질을 확보하는 것.

제안 방법

• 입력 데이터 포인트가 폭포 클래스이거나 아닌지를 분류하도록 일대다 의사결정나무(폭포 트리)를 훈련한다.
• 입력 데이터 포인트가 속한 사실 리프와 폭포 리프를 식별한다.
• 루트에서 폭포 리프까지의 경로와 사실 리프까지의 경로를 추출한 후, 사실 규칙가 폭포 규칙 내에서 상대적 보완을 계산한다.
• 폭포 경로에 포함되지만 사실 경로에는 포함되지 않은 결합 노드의 집합으로 대비 설명을 구성하여, 폭포와 사실을 구분하는 기능을 나타낸다.
• 중복되는 규칙을 통합하여 간결하고 이해하기 쉬운 설명을 생성한다.
• 텍스트 템플릿을 사용하여 추출된 규칙 집합에서 자연어 설명을 생성한다.

실험 결과

연구 질문

• RQ1 특정 폭포 클래스와의 차이를 유발하는 기능들에만 집중함으로써 대비적 설명이 설명 길이를 줄이는 데 효과적인가?
• RQ2 다양한 머신러닝 모델을 설명할 때 국소적 폭포 트리가 정밀도와 정확도를 얼마나 잘 유지하는가?
• RQ3 이 방법이 기반 모델의 결정 경계를 반영하는 인간이 읽을 수 있는 규칙 기반 설명을 생성할 수 있는가?
• RQ4 이 방법의 성능은 다양한 모델 아키텍처와 데이터셋 간에 어떻게 달라지는가?

주요 결과

• Iris, Diabetes, Heart Disease 데이터셋에서 평균 설명 길이가 1.32에서 1.94개의 기능으로, 매우 간결한 설명을 달성했다.
• Iris 데이터셋에서 신경망을 사용할 경우 F1 스코어 0.97, 정밀도 0.87을 기록하여 규칙 추출의 높은 정확도를 입증했다.
• Diabetes 데이터셋에서는 로지스틱 회귀 및 SVM을 포함한 모든 모델에서 F1 스코어 1.00을 기록하여, 다양한 모델 간 일관된 규칙 추출을 확인했다.
• 모든 모델과 데이터셋에서 정밀도(0.86–0.99)와 정확도(0.86–0.99)가 높게 유지되어, 이 방법의 모델에 종속되지 않는 성질을 확인했다.
• 평균 설명 시간은 0.005에서 0.106초 사이로, 계산 효율성이 뛰어나다는 것을 보여주었다.
• 대화 예시에서 Iris에 대해 두 개의 노드 규칙 설명을 생성했다: '꽃잎 너비 ≤ 0.8 이고 Sepal 너비 > 3.3'