[논문 리뷰] Semantic Explanations of Predictions

Freddy Lécué, Jiewen Wu|arXiv (Cornell University)|2018. 05. 27.

Explainable Artificial Intelligence (XAI)참고 문헌 21인용 수 7

한 줄 요약

이 논문은 의사결정 경계 근처의 대표성 있는 훈련 데이터 포인트를 추출하고, 옹토로지(ontology)를 통해 도메인 특화 개념을 유도하며, 균일한 설명과 대조적 설명을 순위 매겨 해석 가능성 향상을 도모하는 후행적 해석 방법을 제안한다. 핵심 기여는 모델 예측과 의미론적 추론을 통합하여 실제 세계 지식에 기반한 정보성 있고 대조적이며 사용자 중심의 해석을 생성하는 프레임워크를 제공한다는 점이다.

ABSTRACT

The main objective of explanations is to transmit knowledge to humans. This work proposes to construct informative explanations for predictions made from machine learning models. Motivated by the observations from social sciences, our approach selects data points from the training sample that exhibit special characteristics crucial for explanation, for instance, ones contrastive to the classification prediction and ones representative of the models. Subsequently, semantic concepts are derived from the selected data points through the use of domain ontologies. These concepts are filtered and ranked to produce informative explanations that improves human understanding. The main features of our approach are that (1) knowledge about explanations is captured in the form of ontological concepts, (2) explanations include contrastive evidences in addition to normal evidences, and (3) explanations are user relevant.

연구 동기 및 목표

• 의료 및 금융과 같은 고위험 분야에서 기계학습 모델의 해석 가능성 부족 문제를 해결하기 위해.
• 예측 결과를 의미론적으로 의미 있고 맥락적으로 관련된 설명을 통해 인간의 이해를 향상시키기 위해.
• 사회과학에서 인간의 설명 행동에 대한 통찰을 기반으로, '왜 y가 아니라 y′인가?'에 대한 대조적 추론을 통합하기 위해.
• 도메인 옹토로지를 활용해 원시 데이터 포인트를 이해하기 쉬운 의미론적 개념으로 변환하여 설명을 위한 프레임워크를 개발하기 위해.
• 사용자가 예측된 관련성에 따라 순위 매겨진 설명 세트 중에서 선택할 수 있도록 개인화된 사용자 중심의 설명을 가능하게 하기 위해.

제안 방법

• 시험 인스턴스의 국소 주변부에 위치하고 의사결정 경계 근처에 있는 대표성 있는 훈련 데이터 포인트를 선별하여 주요 특징을 포착하기 위해.
• 도메인 특화 옹토로지를 사용해 선택된 데이터 포인트에서 의미론적 개념을 추출하고 인코딩하여 원시 특징을 인간이 이해할 수 있는 용어로 변환하기 위해.
• 대표 세트 내에서 양성 예측에 공통적으로 나타나는 의미론적 개념의 집합으로 균일한 설명을 계산하기 위해.
• 대표 세트 내에서 양성 및 음성 예측 그룹 간의 의미론적 차이를 식별하여 대조적 설명을 유도하기 위해.
• 대조적 개념과의 의미론적 유사도와 거리 임계값을 사용해 설명을 순위 매기며, 가장 정보성 있고 관련성이 높은 개념을 우선순위로 정하기 위해.
• 대조적 개념과 가장 유사한 개념을 우선순위로 정렬하는 전략을 적용하며, 강한 유사성이 없을 경우 후행 순서로 전환하기 위해.

실험 결과

연구 질문

• RQ1 훈련 데이터에서 유도된 의미론적 개념을 활용해 기계학습 예측을 인간의 이해를 높이도록 어떻게 설명할 수 있는가?
• RQ2 '왜 y가 아니라 y′인가?'에 대한 대조적 설명은 인간의 모델 결정 이해를 향상시키는 데 어떤 역할을 하는가?
• RQ3 원시 데이터 특징을 이해하기 쉬운 의미 있는 개념으로 변환하기 위해 도메인 옹토로지를 효과적으로 활용하는 방법은 무엇인가?
• RQ4 모델의 확률 순위에 의존하지 않고 사용자 관련성과 개인화를 후행적 설명 시스템에 어떻게 통합할 수 있는가?
• RQ5 의미론적 추론을 통해 균일한 증거와 대조적 증거를 결합함으로써 설명의 정보성은 어떻게 최적화할 수 있는가?

주요 결과

• 이 방법은 'TheSilentGeneration'과 'OperationIn1960s'와 같은 핵심 개념을 식별하여 균일하고 대조적인 의미론적 설명을 성공적으로 생성하였다.
• 대조적 설명은 균일한 설명보다 더 정보성이 높았으며, 'TheGIGeneration'과 'OperationIn1950s'와 같은 개념이 분류 결과를 설명하는 데 효과적으로 차이를 부각시켰다.
• 의미론적 유사도와 거리 임계값(σ)의 사용으로 설명의 순위 매기기가 효과적으로 이루어졌으며, 가장 관련성이 높은 개념이 출력에서 우선순위로 배치되었다.
• 최종 설명 세트는 대조적 설명에서 'TheSilentGeneration'이 첫 번째로 나타나, 강력한 분류 능력을 반영하였다.
• 이 프레임워크는 훈련 데이터 내 의미론적 향상과 개념 빈도가 설명 내 개념의 가중치 할당에 의미 있게 기여한다는 점을 입증하였다.
• 모든 예측 레이블을 양성으로 간주하고 각 음성 클래스에 대해 대조적 증거를 계산함으로써 다중 레이블 확장을 가능하게 하였으며, 사용자가 지정한 기준에 따라 관련성이 낮은 클래스를 제거할 수 있도록 하였다.