[論文レビュー] Using Shapley Values and Variational Autoencoders to Explain Predictive Models with Dependent Mixed Features

Lars Henry Berge Olsen, Ingrid K. Glad+2 more|arXiv (Cornell University)|Nov 26, 2021

Explainable Artificial Intelligence (XAI)被引用数 5

ひとこと要約

本稿では、解釈可能な機械学習における正確なシャープレイ値推定のため、混合型（連続的およびカテゴリカル型）特徴量間の複雑な依存関係をモデル化する新規手法として、任意の条件付きを備えた変分自己オートエンコーダー（VAEAC）を提案する。VAEACを用いて高次元特徴量の依存関係を捉えることで、低次元および高次元の両設定において、特徴量の非一様マスキングを伴う高次元設定でも、最先端手法を著しく上回る性能を発揮する。

ABSTRACT

Shapley values are today extensively used as a model-agnostic explanation framework to explain complex predictive machine learning models. Shapley values have desirable theoretical properties and a sound mathematical foundation in the field of cooperative game theory. Precise Shapley value estimates for dependent data rely on accurate modeling of the dependencies between all feature combinations. In this paper, we use a variational autoencoder with arbitrary conditioning (VAEAC) to model all feature dependencies simultaneously. We demonstrate through comprehensive simulation studies that our VAEAC approach to Shapley value estimation outperforms the state-of-the-art methods for a wide range of settings for both continuous and mixed dependent features. For high-dimensional settings, our VAEAC approach with a non-uniform masking scheme significantly outperforms competing methods. Finally, we apply our VAEAC approach to estimate Shapley value explanations for the Abalone data set from the UCI Machine Learning Repository.

研究の動機と目的

• 高利害な応用分野における、依存関係のある混合型特徴量（連続的およびカテゴリカル型）を有する予測モデルを説明するという、極めて重要な課題に取り組む。
• 特徴量の独立性を仮定するか、単純な依存関係モデルを用いる既存のシャープレイ値推定手法の限界を克服する。
• 複雑な高次元特徴量依存関係を正確にモデル化できる、スケーラブルで微分可能なフレームワークを構築し、局所的モデル解釈を実現する。
• 実世界のシナリオにおいて特徴量の依存関係が一般的に存在するが、標準的手法では無視されがちな状況において、シャープレイ値解釈の正確性と信頼性を向上させる。
• 多様なシミュレーション設定および実世界のアバロンデータセットを用いて、本手法の頑健性と優位性を実証する。

提案手法

• すべての特徴量の組み合わせの同時分布をモデル化するため、任意の条件付きを備えた変分自己オートエンコーダー（VAEAC）を提案し、混合型データにおける複雑な依存関係を捉える。
• シャープレイ値計算に必要な条件付き確率を推定するために、VAEACの潜在空間からのモンテカルロサンプリングを用い、高次元積分の効率的近似を実現する。
• 高次元設定において非一様マスキング方式を組み込むことで、情報量の多い特徴量サブセットに注目し、推定の効率性と正確性を向上させる。
• 各シャープレイ値項のための現実的な反事後的特徴量組み合わせを生成するために、特定の特徴量値に条件づけたVAEACを用いることで、データ依存関係の忠実な表現を保証する。
• VAEACの生成能力を活用し、連続的およびカテゴリカル型特徴量を同時にモデル化することで、別々のモデリングパイプラインを必要としない。
• 変分下界の目的関数を用いてVAEACを訓練することで、条件付き密度推定のためのエンドツーエンド最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 特徴量が依存関係を持ち、混合型である場合に、どのようにシャープレイ値を正確に推定できるか？
• RQ2 VAEACのような深層生成モデルは、特徴量の依存関係下で、従来の統計的依存関係モデル（例：コプール、ビーン・コプール）を上回るシャープレイ値推定性能を示せるか？
• RQ3 高次元特徴空間において、非一様マスキング戦略がシャープレイ値推定の正確性に与える影響は何か？
• RQ4 多様なシミュレーション設定において、VAEACベースのアプローチは、平均絶対誤差および計算効率の観点から、最先端手法と比較してどのように差をつけるか？
• RQ5 アバロンデータセットのような、複雑な特徴量依存関係を持つ実世界のデータセットにおいて、VAEACフレームワークは信頼性があり解釈可能な説明を提供できるか？

主な発見

• 依存関係のある連続的および混合型特徴量を有する多様なシミュレーション設定において、VAEACアプローチは、シャープレイ値推定の平均絶対誤差において、最先端手法を著しく上回る。
• 高次元設定（M=10）において、非一様マスキングを用いたVAEACは、一様マスキングや競合手法よりも推定誤差をより効果的に低減し、優れたスケーラビリティを示す。
• K=250のモンテカルロサンプルを用いることで、精度と計算コストのバランスを保った安定的かつ正確なシャープレイ値推定が達成される。
• VAEACモデルは、訓練データの構造と整合する条件付き分布をモデル化できる能力により、混合型データにおける複雑で非線形な依存関係を効果的に捉えていることが裏付けられる。
• アバロンデータセットにおいて、VAEACベースの説明フレームワークは、独立性を仮定する手法や単純な依存関係モデルよりも、より信頼性が高く一貫性のある特徴量重要度順位を提供する。
• VAEACフレームワークは、特徴量の依存関係の度合いが変化しても頑健であり、強い相関構造下でも高い推定正確性を維持する。