[논문 리뷰] XInsight: eXplainable Data Analysis Through The Lens of Causality

Pingchuan Ma, Rui Ding외 3명|arXiv (Cornell University)|2022. 07. 26.

Explainable Artificial Intelligence (XAI)인용 수 5

한 줄 요약

XInsight는 원인관계 기반의 설명형 데이터 분석(XDA)을 위한 프레임워크로, 원인관계 그래프, 원인관계 기초 요소, 책임도 정량화를 사용하여 데이터 사실에 대해 정성적이고 정량적 설명을 제공한다. 실험과 사용자 연구를 통해 비원인관계 기반 도구보다 사용자 신뢰도와 정확도에서 뛰어나며, 성능이 뛰어나다.

ABSTRACT

In light of the growing popularity of Exploratory Data Analysis (EDA), understanding the underlying causes of the knowledge acquired by EDA is crucial. However, it remains under-researched. This study promotes a transparent and explicable perspective on data analysis, called eXplainable Data Analysis (XDA). For this reason, we present XInsight, a general framework for XDA. XInsight provides data analysis with qualitative and quantitative explanations of causal and non-causal semantics. This way, it will significantly improve human understanding and confidence in the outcomes of data analysis, facilitating accurate data interpretation and decision making in the real world. XInsight is a three-module, end-to-end pipeline designed to extract causal graphs, translate causal primitives into XDA semantics, and quantify the quantitative contribution of each explanation to a data fact. XInsight uses a set of design concepts and optimizations to address the inherent difficulties associated with integrating causality into XDA. Experiments on synthetic and real-world datasets as well as a user study demonstrate the highly promising capabilities of XInsight.

연구 동기 및 목표

• 탐색적 데이터 분석(EDA)에서 원인관계 설명의 부족으로 인해 오해의 소지가 생기는 문제를 해결하기 위해.
• 원인관계 및 비원인관계 설명을 모두 포함한 통합 프레임워크를 개발하여 정성적 및 정량적 구성요소를 제공하기 위해.
• 원인관계를 EDA에 통합함으로써 인간의 데이터 분석 결과에 대한 이해도와 신뢰도를 향상시키기 위해.
• 기존 도구들이 진정한 원인관계가 아닌 통계적 상관관계에 의존하는 한계를 극복하기 위해.
• 실제 데이터 분석에서 실행 가능하고 반성적 추론을 지원하는 확장 가능한 종단 간 파이프라인을 설계하기 위해.

제안 방법

• XInsight는 세 모듈로 구성된 파이프라인을 사용한다: 데이터에서 원인관계 그래프를 발견하는 XLearner, 주어진 맥락 하에서 변수를 원인관계 또는 비원인관계로 분류하는 XTranslator, 실제 원인관계를 기반으로 책임도를 정량화하는 XPlainer.
• XLearner는 기능적 의존성(FDs)으로 인한 원인관계 부족 및 충실성 위반 등의 원인관계 발견의 핵심 과제를 다룬다.
• XTranslator는 원인관계 그래프의 구조를 활용하여 주어진 '왜 질문'에 대해 변수가 원인관계 설명으로 기능할 수 있는지 판단하며, 원인관계 후보(초록)와 비원인관계 후보(薰자)를 표시한다.
• XPlainer는 Halpern의 실제 원인관계 이론과 DB 원인관계 이론을 적용하여 책임도 점수를 계산하고, 데이터 사실을 설명하는 데 가장 책임이 있는 조건을 식별한다.
• 실제 데이터 환경에서의 계산 비용 절감과 확장성 향상을 위해 최적화 기법을 통합하였다.
• XInsight는 확장 가능하도록 설계되었으며, 실시간 데이터 변화 설명을 지원하기 위해 마이크로소프트 파wr BI에 통합되었다.

실험 결과

연구 질문

• RQ1 어떻게 체계적으로 원인관계를 탐색적 데이터 분석(EDA)에 통합하여 설명의 질을 향상시킬 수 있는가?
• RQ2 데이터 분석 맥락에서 원인관계 설명과 비원인관계 설명의 차이점은 무엇이며, 이를 어떻게 공식적으로 모델링할 수 있는가?
• RQ3 통합 프레임워크가 확장 가능하고 신뢰할 수 있는 방식으로 데이터 사실에 대해 정성적 및 정량적 원인관계 설명을 동시에 제공할 수 있는가?
• RQ4 비원인관계 설명과 비교했을 때 원인관계 추론을 통합함으로써 사용자의 이해도와 의사결정 능력은 어떻게 향상되는가?
• RQ5 실제 데이터 분석에 원인관계를 적용할 때 발생하는 주요 기술적 과제는 무엇이며, 이를 어떻게 해결할 수 있는가?

주요 결과

• XInsight는 원인관계 부족 및 기능적 의존성(FDs)에 의한 충실성 위반과 같은 도전적인 조건에서도 합성 및 실세계 데이터셋에서 원인관계 그래프를 성공적으로 발견한다.
• 사용자 연구를 통해 비원인관계 설명 대비 원인관계 설명이 사용자로부터 훨씬 더 높은 신뢰도를 확보함을 확인하였다.
• XPlainer는 각 요소가 데이터 사실을 설명하는 데 기여하는 책임도를 정확히 정량화하며, 결과가 인간의 직관과 반성적 추론과 일치함을 입증하였다.
• 마이크로소프트 파워 BI에 XInsight를 통합함으로써 실시간 데이터 변화 설명이 가능해졌으며, 실용적 구현 가능성을 입증하였다.
• 실험 결과, XInsight는 Tableau의 Explain Data 및 Scorpion과 같은 기존 도구보다 더 의미 있고 원인관계적으로 타당한 설명을 식별하는 데 뛰어난 성능을 보였다.
• 프레임워크는 원인관계 요소와 비원인관계 요소를 효과적으로 구분하여, 저연령 임신율과 높은 ACT 점수 사이의 허구적 상관관계와 같은 오해의 소지가 있는 설명을 방지한다.