[論文レビュー] BASED-XAI: Breaking Ablation Studies Down for Explainable Artificial Intelligence

Isha Hameed, Samuel Sharpe+6 more|arXiv (Cornell University)|Jul 12, 2022

Explainable Artificial Intelligence (XAI)被引用数 11

ひとこと要約

本稿は、表形式データにおける説明可能AI（XAI）のアブレーションスタディのためのきめ細やかなフレームワークを提案する。適切な摂動選択、カテゴリカル特徴量の取り扱い、誤った結論を避けるためのガードレールを重視している。ナイーブな摂動はアブレーション曲線を歪めることを示し、ワンホットエンコーディングされたカテゴリカル特徴量を元の形式に再集約することで、XAI評価の妥当性と解釈可能性が向上することを示している。

ABSTRACT

Explainable artificial intelligence (XAI) methods lack ground truth. In its place, method developers have relied on axioms to determine desirable properties for their explanations' behavior. For high stakes uses of machine learning that require explainability, it is not sufficient to rely on axioms as the implementation, or its usage, can fail to live up to the ideal. As a result, there exists active research on validating the performance of XAI methods. The need for validation is especially magnified in domains with a reliance on XAI. A procedure frequently used to assess their utility, and to some extent their fidelity, is an ablation study. By perturbing the input variables in rank order of importance, the goal is to assess the sensitivity of the model's performance. Perturbing important variables should correlate with larger decreases in measures of model capability than perturbing less important features. While the intent is clear, the actual implementation details have not been studied rigorously for tabular data. Using five datasets, three XAI methods, four baselines, and three perturbations, we aim to show 1) how varying perturbations and adding simple guardrails can help to avoid potentially flawed conclusions, 2) how treatment of categorical variables is an important consideration in both post-hoc explainability and ablation studies, and 3) how to identify useful baselines for XAI methods and viable perturbations for ablation studies.

研究の動機と目的

• XAI評価における真の正解の欠如と、不適切に設計されたアブレーションスタディによる誤った結論のリスクに対処すること。
• 摂動手法とベースライン分布が適切に一致しない場合、XAI評価にどのように混乱をもたらすかを調査すること。
• 特にラベルエンコーディングをワンホットエンコーディングよりも用いることで、アブレーションスタディの妥当性に大きな影響を及ぼすカテゴリカル特徴量の取り扱いの重要性を強調すること。
• 誤ったアブレーション曲線の解釈を防ぐための健全性チェックとして機能する実用的なガードレールを提案すること。
• 表形式機械学習における堅牢なXAI検証のため、適切なベースラインと摂動を選択する手がかりを研究者に提供すること。

提案手法

• 著者らは、3つのXAI手法（Deep SHAP、Integrated Gradients、KernelSHAP）と4つのベースライン分布を用いて、5つの表形式データセットでアブレーションスタディを実施した。
• ランダム、定数中央値、最大距離の3つの摂動戦略を比較し、それらがアブレーション曲線の形状と解釈に与える影響を評価した。
• カテゴリカル特徴量はワンホットエンコーディングおよびラベルエンコーディングの両方の形で取り扱い、特徴量ランク付けと摂動の妥当性に与える影響を評価した。
• 本研究は3つのガードレールを導入した：(1) アブレーション範囲を訓練データ内入力に制限する縦方向ガードレール、(2) 全アブレーション状態でのモデル性能を評価する横方向ガードレール、(3) 偽の属性割り当てパターンを検出するためのランダム特徴量ガードレール。
• 局所的およびグローバルな説明を比較し、グローバルなアブレーション曲線は局所的なものよりも滑らかであるが、ガードレールが適用された場合には両者とも類似した傾向を示すことを示した。
• 摂動による特徴量への感受性を評価するため、モデルの性能（例：正答率、AUC）を指標として用い、アブレーションステップに伴う変化を追跡した。

実験結果

リサーチクエスチョン

• RQ1 異なる摂動手法は、XAI評価におけるアブレーション曲線の形状と解釈可能性にどのように影響するか？
• RQ2 カテゴリカル特徴量の表現方法（ワンホット対ラベルエンコーディング）は、アブレーションスタディの結果にどの程度影響を及えるか？
• RQ3 ガードレールは、XAI評価を歪める分布外摂動を効果的に特定・除外するために有効に利用できるか？
• RQ4 局所的およびグローバルな説明は、アブレーション曲線の挙動においてどのように比較されるか？また、集約処理は耐性を向上させるか？
• RQ5 同じ摂動およびベースライン条件下で、異なるXAI手法（例：勾配ベース対カーネルベース）はどのように性能を示すか？

主な発見

• 訓練データ分布外の入力を引き起こす摂動（例：最大距離法）は、説明が高品質であっても、性能の急激な低下を引き起こし、誤った解釈を招くことがある。
• カテゴリカル特徴量をワンホットエンコーディングのまま摂動に用いることは、スパarsityを引き起こし、誤った特徴量重要度ランク付けをもたらすが、それらをラベルエンコーディング形式に再集約することで、アブレーションスタディの妥当性が向上する。
• 縦方向ガードレールは、アブレーション範囲を訓練データ内に制限し、特に高次元データセットにおいて関連領域を圧縮することで解釈可能性を向上させる。
• グローバル説明から得られるアブレーション曲線は、局所的曲線よりも滑らかで左シフトするが、ガードレールが適用された場合には両者とも類似した傾向を示す。
• 高次元設定下でベースラインサンプル数が不足していることから、AdultおよびHARデータセットではKernelSHAPが勾配ベース手法（Deep SHAP、Integrated Gradients）と著しく乖離している。
• XAI手法自体よりも、摂動およびベースラインの選択がアブレーション曲線の形状に強い影響を及えることが示され、慎重な設計の必要性が強調された。