[論文レビュー] Causality-Aware Local Interpretable Model-Agnostic Explanations

Martina Cinquini, Riccardo Guidotti|arXiv (Cornell University)|Dec 10, 2022

Topic Modeling被引用数 4

ひとこと要約

本稿では、局所的モデルに依存しない説明を、入力インスタンストの近傍における因果関係を尊重する合成データの生成によって向上させる、因果関係に配慮したLIMEの拡張であるCALIMEを提案する。ランダムな摂動に代えてgencdaを用いた因果関係に配慮したデータ生成により、特徴量の数が増加するにつれて、説明の忠実度と安定性が向上するが、計算時間の増加を伴う。

ABSTRACT

A main drawback of eXplainable Artificial Intelligence (XAI) approaches is the feature independence assumption, hindering the study of potential variable dependencies. This leads to approximating black box behaviors by analyzing the effects on randomly generated feature values that may rarely occur in the original samples. This paper addresses this issue by integrating causal knowledge in an XAI method to enhance transparency and enable users to assess the quality of the generated explanations. Specifically, we propose a novel extension to a widely used local and model-agnostic explainer, which encodes explicit causal relationships within the data surrounding the instance being explained. Extensive experiments show that our approach overcomes the original method in terms of faithfully replicating the black-box model's mechanism and the consistency and reliability of the generated explanations.

研究の動機と目的

• 既存のXAI手法が特徴量の独立性を仮定しており、局所的説明において因果関係を適切にモデル化できないという限界を解消すること。
• 合成データ生成プロセスに因果構造を統合することで、局所的モデルに依存しない説明の忠実度と安定性を向上させること。
• 説明を現実的で因果的に裏付けられたデータ分布に基づかせることで、AI意思決定に対する信頼を高めること。
• 因果関係に配慮したデータ生成が、ランダム摂動に基づく手法と比較して、より現実的で頑健な説明をもたらすことを示すこと。
• 表形式データや連続特徴にとどまらない、因果関係に配慮した説明技術への拡張の基盤を築くこと。

提案手法

• LIMEのランダムな合成データ生成を、入力特徴の因果グラフを尊重するgencdaという因果構造に配慮した合成データ生成器に置き換える。
• 説明の前段階で、訓練データから因果発見（ncdaを用いて）により因果グラフ（DAG）を同定する。
• 説明対象インスタンストの局所的近傍で、因果グラフが定義する条件付き分布からサンプリングすることで、合成インスタンスを生成する。
• 因果的に生成された合成データ上でラッソ正則化線形モデルを訓練し、特徴量の重要度を説明する。
• 元のインスタンストに近いほど重みを大きくする距離関数を用いて合成インスタンスを重み付けし、局所的忠実度を保持する。
• 生成されたデータが元の因果的依存関係を尊重するようにし、不自然または現実的でないインスタンスの生成を低減する。

実験結果

リサーチクエスチョン

• RQ1 因果構造を合成データ生成に統合することで、局所的モデルに依存しない説明の忠実度が向上するか？
• RQ2 因果関係に配慮したデータ生成は、複数回の実行においてより安定的で一貫性のある説明をもたらすか？
• RQ3 CALIMEが生成する合成インスタンストの妥当性は、LIMEが生成するものと比較して、分布的現実性の観点からどの程度優れているか？
• RQ4 因果構造を統合する際の、説明品質と計算効率のトレードオフは何か？
• RQ5 因果関係に配慮した説明は、AI意思決定に対するユーザーの信頼をどの程度向上させ得るか？

主な発見

• CALIMEは、statlog や wine-red などのデータセットにおいて、AMD、AOD、ASM、ADMの全指標でLIMEを上回る説明の妥当性を示し、低いスコアがより高い妥当性を示す。
• 忠実度に関しては、wdbcを除くすべてのデータセットでCALIMEがLIMEを上回る平均忠実度を達成しており、k=30の際のスコアは0.44（LIME）対0.41（CALIME）で、LIMEがわずかに優位である。
• k > 4の範囲で、CALIMEはLLE（Local LIME Error）の値が低く、摂動の変動に強く一貫性のある説明を示す。
• AMDおよびAODスコアが低いため、CALIMEが生成する近傍はLIMEのものよりもコンパクトで、元のインスタンストに近いことが示され、局所的密度と現実性の両方が高い。
• 優位性は確認できるが、CALIMEはLIMEに比べて著しく遅く、因果グラフ推定および分布学習のため、1〜2桁の計算時間が増加する。
• 現在のところ、gencdaおよびncdaが混合型（カテゴリカル/連続）データをサポートしていないため、本手法は連続特徴に限定されており、今後の研究における重要な方向性である。