[論文レビュー] Towards Explainable Artificial Intelligence (XAI): A Data Mining Perspective

Haoyi Xiong, Xuhong Li+6 more|arXiv (Cornell University)|Jan 9, 2024

Explainable Artificial Intelligence (XAI)被引用数 7

ひとこと要約

この論文は XAI をデータ中心の視点から再定義し、解釈、訓練データの影響、ドメイン知識の洞察によって方法を分類し、モダリティ横断で four data-mining stages にマッピングする。

ABSTRACT

Given the complexity and lack of transparency in deep neural networks (DNNs), extensive efforts have been made to make these systems more interpretable or explain their behaviors in accessible terms. Unlike most reviews, which focus on algorithmic and model-centric perspectives, this work takes a "data-centric" view, examining how data collection, processing, and analysis contribute to explainable AI (XAI). We categorize existing work into three categories subject to their purposes: interpretations of deep models, referring to feature attributions and reasoning processes that correlate data points with model outputs; influences of training data, examining the impact of training data nuances, such as data valuation and sample anomalies, on decision-making processes; and insights of domain knowledge, discovering latent patterns and fostering new knowledge from data and models to advance social values and scientific discovery. Specifically, we distill XAI methodologies into data mining operations on training and testing data across modalities, such as images, text, and tabular data, as well as on training logs, checkpoints, models and other DNN behavior descriptors. In this way, our study offers a comprehensive, data-centric examination of XAI from a lens of data mining methods and applications.

研究の動機と目的

• モデル中心のレビューとは異なる、データ中心の視点からの XAI の動機付け。
• XAI 手法を three-purposes に分類：深層モデルの解釈、訓練データの影響、ドメイン知識の洞察。
• XAI のための four-stage data mining プロセスを提案：data acquisition、data preparation、data modeling、results reporting/visualization。
• images、text、tabular data のようなモダリティ across で data mining 実践と XAI 手法を結びつける taxonomy を提供。

提案手法

• XAI 手法を整理するための three-purposes by four-stage data mining taxonomy を提案。
• 既存の手法を feature attribution、reasoning processes、sample valuation、domain insights に分類・整理する調査。
• 訓練ログ、チェックポイント、サリエンシー・マップ、勾配 などのデータソースを DNN 行動記述子として記述する (Table I)。
• データモダリティ（images、text、tabular）に合わせた可視化と報告戦略を論じる。
• データ取得、準備、モデリング、報告を XAI 手法に結びつけるフレームワークを提示。

Figure 1: Overview of Explainable AI as a Data Mining Approach for Interpretations, Influences and Insights

実験結果

リサーチクエスチョン

• RQ1 XAI 手法をデータマイニングの視点から解釈、訓練データの影響、ドメイン知識の洞察に効果的に整理するにはどうすればよいか？
• RQ2 XAI ワークフローを構成する four data-mining stages は何か、そしてそれらが異なる XAI 手法にどう対応するか？
• RQ3 データソースと行動記述子（例：saliency maps、loss curves、gradients）が XAI の解釈と洞察にどのように結びつくか？
• RQ4 XAI を通じた社会的価値と科学的発見の推進におけるドメイン知識の洞察の役割は何か？

主な発見

• データ中心の分類法は、モダリティ横断で XAI 手法が解釈、影響、洞察をどのように提供するかを明確にする。
• XAI 手法は feature attribution、reasoning processes、proxy explainable models、および concept activations を含み、すべて data mining の段階と結びつく。
• サンプル評価や異常検知などの訓練データの影響は、モデルの決定と頑健性を理解するために不可欠。
• 可視化と報告技術はデータモダリティに合わせて調整され、透明性と信頼性を高める。
• このフレームワークは、データ駆動の洞察を通じて AI 主導の科学と医療などの分野を前進させる可能性を強調する。

(a) ViT-B