[論文レビュー] Towards Ground Truth Explainability on Tabular Data

Brian Barr, Ke Xu+5 more|arXiv (Cornell University)|Jul 20, 2020

Explainable Artificial Intelligence (XAI)参考文献 23被引用数 5

ひとこと要約

本論文は、XAIにおける真の説明可能性を実現するため、コプゥラと記号的式を用いた合成テーブルデータ生成手法を提案する。特徴量の相関関係と関数的依存関係を制御することにより、検証可能な局所的およびグローバルな説明が可能となり、情報特徴量からの相関がSHAP値に歪みをもたらすのは、データ分布バイアスによるものであり、モデル学習によるものではないことが示された。

ABSTRACT

In data science, there is a long history of using synthetic data for method development, feature selection and feature engineering. Our current interest in synthetic data comes from recent work in explainability. Today's datasets are typically larger and more complex - requiring less interpretable models. In the setting of extit{post hoc} explainability, there is no ground truth for explanations. Inspired by recent work in explaining image classifiers that does provide ground truth, we propose a similar solution for tabular data. Using copulas, a concise specification of the desired statistical properties of a dataset, users can build intuition around explainability using controlled data sets and experimentation. The current capabilities are demonstrated on three use cases: one dimensional logistic regression, impact of correlation from informative features, impact of correlation from redundant variables.

研究の動機と目的

• テーブルデータにおける後処理型モデル説明可能性の真の基準の欠如に対処すること。
• 特徴量相関が局所的およびグローバルな説明に与える影響を制御された実験で調査できること。
• 既知の関数的依存関係と統計的性質を持つ合成データセットを柔軟かつ再現可能に生成するフレームワークを提供すること。
• 情報特徴量と冗長的特徴量からの相関がSHAPベースの属性割り当てに与える影響を調査すること。
• 合成データを用いて記号的グローバル説明とモデルに依存しない局所的説明の間のギャップを埋めること。

提案手法

• コプゥラを用いて入力特徴量の周辺分布と相関構造を定義し、統計的性質を精確に制御する。
• 記号的式により特徴量とターゲットラベル間の真の関数的関係を定義し、グローバルな説明可能性を保証する。
• 記号的式から導出された確率フィールドにしきい値を適用することで、2値ラベルを割り当てる。
• 特徴量重要度の真の基準が既知のデータセットを生成し、SHAPなどの局所的説明手法の検証を可能にする。
• 入力相関の影響を分離するために、同じデータの相関ありおよび相関なしのバージョンを生成する。
• SHAP DeepExplainerを用いて局所的属性割り当てを計算し、異なるデータセット間での比較により説明の信頼性を評価する。

実験結果

リサーチクエスチョン

• RQ1 情報特徴量間の相関が、SHAP値のような局所的モデル説明の信頼性にどのように影響するか？
• RQ2 冗長的特徴量（相関はあるが重要でない）が、特徴量重要度を模倣するように局所的属性割り当てを歪めるのか？
• RQ3 既知の関数的依存関係を持つ合成データは、テーブルデータにおけるXAI手法の評価の真の基準ベンチマークとして機能できるか？
• RQ4 SHAP値の観察される歪みは、モデル学習ではなく、データ分布バイアスによるものである程度はどの程度か？
• RQ5 記号的式とコプゥラをどのように組み合わせて、検証可能な説明が可能な複雑で現実的な合成テーブルデータを生成できるか？

主な発見

• 情報特徴量間の相関は、相関のあるデータ分布におけるクラス不均衡の影響を受けて、SHAP値が第1象限および第3象限にずれる歪みを引き起こす。
• SHAP値に見られる相関の影響は、モデル学習によるバイアスではなく、相関のあるデータの期待値の性質に起因するものであり、非相関ベースラインデータで再適合した説明器の比較により明らかになった。
• 記号的式に含まれないにもかかわらず、冗長的特徴量はSHAP属性割り当てを顕著に変化させ、個々の寄与度がベースライン説明に合計されない。
• 冗長的特徴量、情報特徴量、ノイズ特徴量のSHAP値を合算しても、元のグローバル説明が回復しないことから、説明手法が特徴空間の構成に敏感であることが示された。
• 記号的式は検証可能なグローバル説明を提供するが、相関のあるデータにおけるSHAP値は系統的なずれを示し、局所的説明の解釈に注意が必要であることを強調している。
• 本手法は、真の特徴量重要度が既知の合成データセットを効果的に生成でき、テーブルデータにおけるXAI技術の制御された評価が可能となった。