[논문 리뷰] The role of causality in explainable artificial intelligence

Gianluca Carloni, Andrea Berti외 1명|arXiv (Cornell University)|2023. 09. 18.

Explainable Artificial Intelligence (XAI)인용 수 9

한 줄 요약

인과성과 설명가능한 인공지능(XAI)의 관계를 맵핑하는 포괄적 검토로, 세 가지 주요 관점( XAI에 대한 비판가, 인과성을 위한 XAI, XAI를 위한 인과성)을 식별하고 두 영역 사이의 방법론적 및 실무적 다리를 제시한다.

ABSTRACT

Causality and eXplainable Artificial Intelligence (XAI) have developed as separate fields in computer science, even though the underlying concepts of causation and explanation share common ancient roots. This is further enforced by the lack of review works jointly covering these two fields. In this paper, we investigate the literature to try to understand how and to what extent causality and XAI are intertwined. More precisely, we seek to uncover what kinds of relationships exist between the two concepts and how one can benefit from them, for instance, in building trust in AI systems. As a result, three main perspectives are identified. In the first one, the lack of causality is seen as one of the major limitations of current AI and XAI approaches, and the "optimal" form of explanations is investigated. The second is a pragmatic perspective and considers XAI as a tool to foster scientific exploration for causal inquiry, via the identification of pursue-worthy experimental manipulations. Finally, the third perspective supports the idea that causality is propaedeutic to XAI in three possible manners: exploiting concepts borrowed from causality to support or improve XAI, utilizing counterfactuals for explainability, and considering accessing a causal model as explaining itself. To complement our analysis, we also provide relevant software solutions used to automate causal tasks. We believe our work provides a unified view of the two fields of causality and XAI by highlighting potential domain bridges and uncovering possible limitations.

연구 동기 및 목표

• 인과성과 XAI가 어떻게 얽혀 있는지 이해하기 위해 학제 간 문헌을 조사한다.
• 인과성–XAI 관계에 대한 주요 관점을 식별한다.
• 인과성 및 XAI 간의 도메인 간 다리와 한계를 강조하는 통합된 관점을 제공한다.

제안 방법

• Scopus, IEEE Xplore, Web of Science, ACM 데이터베이스를 대상으로 한 체계적 문헌 검토.
• VOSviewer를 이용한 키워드 동시출현 분석으로 개념 간 관계를 매핑한다.
• 주제 군집화를 통해 논문을 서로 일관된 관점으로 정리한다: 인과적 관점에서 본 XAI에 대한 비판가들, 인과성을 위한 XAI, XAI를 위한 인과성.
• 자동 인과 작업에 인용된 소프트웨어 솔루션의 수집과 분석.

실험 결과

연구 질문

• RQ1 현재 문헌에서 인과성과 XAI 사이의 관계는 무엇인가?
• RQ2 인과성와 XAI를 연결하는 프레임워크나 형식은 무엇이며, 그것들의 한계는 무엇인가?
• RQ3 어떤 관점(인과성에 대한 비판가, 인과성을 위한 XAI, XAI를 위한 인과성)이 인과성을 XAI에 통합하는 데 가장 잘 지원하는가?
• RQ4 인과 도구 및 지표를 어떻게 활용하여 XAI 설명을 향상시킬 수 있는가?

주요 결과

• 세 가지 주요 관점이 드러난다: 인과적 관점에서 본 XAI에 대한 비판가들, 인과성을 위한 XAI, XAI를 위한 인과성.
• 현대 AI/XAI에서 인과성의 결여가 주요 한계로 지적되며, 설명의 강건성과 신뢰에 대한 우려가 제기된다.
• XAI는 추구할 만한 실험 조작을 제시함으로써 인과적 탐구를 돕지만, 설명이 인과 추론에 대한 완벽한 가이드가 되지는 않을 수 있다.
• 인과성 개념(SCMs, do-operator, causal Shapley 값)은 XAI 방법을 보강하고 더 기계적 설명을 제공할 수 있다.
• 중대한 상황에서 인과 모델이나 인과 추론에 대한 접근은 AI 의사결정을 본질적으로 설명할 수 있다.
• 검토는 인과 작업을 자동화하는 데 사용된 소프트웨어 솔루션을 매핑하고 그 속성을 논의한다.