[논문 리뷰] Towards Explainable Artificial Intelligence (XAI): A Data Mining Perspective

Haoyi Xiong, Xuhong Li외 6명|arXiv (Cornell University)|2024. 01. 09.

Explainable Artificial Intelligence (XAI)인용 수 7

한 줄 요약

본 논문은 XAI를 데이터 중심 관점에서 재구성하고, 방법을 해석, 학습 데이터 영향, 도메인 인사이트로 분류하며 이를 모달리티에 걸친 네 가지 데이터마이닝 단계에 매핑한다.

ABSTRACT

Given the complexity and lack of transparency in deep neural networks (DNNs), extensive efforts have been made to make these systems more interpretable or explain their behaviors in accessible terms. Unlike most reviews, which focus on algorithmic and model-centric perspectives, this work takes a "data-centric" view, examining how data collection, processing, and analysis contribute to explainable AI (XAI). We categorize existing work into three categories subject to their purposes: interpretations of deep models, referring to feature attributions and reasoning processes that correlate data points with model outputs; influences of training data, examining the impact of training data nuances, such as data valuation and sample anomalies, on decision-making processes; and insights of domain knowledge, discovering latent patterns and fostering new knowledge from data and models to advance social values and scientific discovery. Specifically, we distill XAI methodologies into data mining operations on training and testing data across modalities, such as images, text, and tabular data, as well as on training logs, checkpoints, models and other DNN behavior descriptors. In this way, our study offers a comprehensive, data-centric examination of XAI from a lens of data mining methods and applications.

연구 동기 및 목표

• 모델 중심의 리뷰와 구별되는 데이터 중심의 XAI 관점을 제시한다.
• XAI 방법을 세 가지 목적으로 분류한다: 딥 모델의 해석, 학습 데이터의 영향, 도메인 지식 인사이트.
• XAI를 위한 네 가지 단계의 데이터 마이닝 프로세스를 제안한다: 데이터 수집, 데이터 준비, 데이터 모델링, 결과 보고/시각화.
• 이미지, 텍스트, 표 형식 데이터 등 모달리티에 걸친 데이터 마이닝 관행과 XAI 기법을 연결하는 분류체계를 제공한다.

제안 방법

• XAI 방법론을 정리하기 위한 데이터 마이닝의 세 가지 목적과 네 가지 단계의 분류체계를 제안한다.
• 현존 기법을 특징 기여도(feature attribution), 추론 프로세스, 샘플 평가, 도메인 인사이트로 조사·분류한다.
• 훈련 로그, 체크포인트, saliency maps, 그리고 gradients 등 데이터를 DNN 행동 설명자로 설명한다 (Table I).
• 이미지, 텍스트, 표 형식 데이터에 맞춘 시각화 및 보고 전략을 논의한다.
• 데이터 수집, 준비, 모델링, 보고를 XAI 방법과 연결하는 프레임워크를 제시한다.

Figure 1: Overview of Explainable AI as a Data Mining Approach for Interpretations, Influences and Insights

실험 결과

연구 질문

• RQ1 데이터 마이닝 관점에서 XAI 기법을 해석, 학습 데이터 영향, 도메인 인사이트로 효과적으로 어떻게 조직할 수 있는가?
• RQ2 XAI 워크플로우를 구성하는 네 가지 데이터마이닝 단계는 무엇이며, 이것들이 서로 다른 XAI 기법에 어떻게 매핑되는가?
• RQ3 데이터 소스와 행동 설명자(예: saliency maps, loss curves, gradients)가 XAI의 해석과 인사이트에 어떻게 반영되나?
• RQ4 XAI를 통한 사회적 가치와 과학적 발견의 발전에서 도메인 지식 인사이트의 역할은 무엇인가?

주요 결과

• 데이터 중심 분류체계는 XAI 방법이 모달리티 전반에 걸쳐 해석, 영향, 인사이트에 어떻게 기여하는지 명확히 한다.
• XAI 방법은 특징 기여도, 추론 과정, 프록시 설명 가능한 모델, 개념 활성화를 포괄하며 모두 데이터마이닝 단계와 연계된다.
• 샘플 평가와 이상 탐지와 같은 학습 데이터 영향은 모델 의사결정과 강건성 이해에 필수적이다.
• 시각화 및 보고 기법은 데이터 모달리티에 맞춰져 투명성과 신뢰를 높인다.
• 이 프레임워크는 데이터 기반 인사이트를 통해 AI 주도 과학 및 의학 같은 분야의 발전 가능성을 강조한다.

(a) ViT-B