[論文レビュー] Ultra-marginal Feature Importance: Learning from Data with Causal Guarantees

Joseph Janssen, Vincent Guan+1 more|arXiv (Cornell University)|Apr 21, 2022

Explainable Artificial Intelligence (XAI)被引用数 5

ひとこと要約

本稿では、因果的保証を備えた観測データにおける特徴量重要度を定量化するための新規手法であるUltra-Marginal Feature Importance（UMFI）を紹介する。公平性分野の従来の従属除去技術を用いて、情報保持性を保ちつつ相関のない表現を生成することで、UMFIはMCIと比較して実行時間を指数関数的から超線形的へと短縮し、相関のある特徴量および真正に関連する特徴量の同定精度を向上させる。

ABSTRACT

Scientists frequently prioritize learning from data rather than training the best possible model; however, research in machine learning often prioritizes the latter. Marginal contribution feature importance (MCI) was developed to break this trend by providing a useful framework for quantifying the relationships in data. In this work, we aim to improve upon the theoretical properties, performance, and runtime of MCI by introducing ultra-marginal feature importance (UMFI), which uses dependence removal techniques from the AI fairness literature as its foundation. We first propose axioms for feature importance methods that seek to explain the causal and associative relationships in data, and we prove that UMFI satisfies these axioms under basic assumptions. We then show on real and simulated data that UMFI performs better than MCI, especially in the presence of correlated interactions and unrelated features, while partially learning the structure of the causal graph and reducing the exponential runtime of MCI to super-linear.

研究の動機と目的

• 科学的推論における既存の特徴量重要度手法の限界、特に相関のある特徴量の取り扱いが不十分で、計算コストが高いための問題を解決すること。
• MCIの欠陥（指数関数的実行時間、相関のある特徴量の低評価、関係のない特徴量に対する誤った重要度）を、従属除去に基づく新しいフレームワークによって克服すること。
• データにおける因果的および関連的関係の説明に適した公理を満たす理論的裏付けのある手法を開発すること。
• MCIと比較して、実際のデータおよびシミュレートされたデータセットにおいて、性能を維持または向上させつつ、超線形的実行時間スケーリングを達成すること。
• モデル依存性を低減し、特徴量重要度の頑健性を高めることで、観測データからの信頼性の高い科学的推論を可能にすること。

提案手法

• 因果的および関連的関係の説明に重点を置いた、特徴量重要度の新規公理的フレームワークを提唱する。
• 線形回帰および最適輸送を用いた従属除去により、関心の特徴量と相関のないが予測情報は保持する特徴量表現を生成する。
• UMFIを、従属除去後に関心の特徴量を含む・含まないモデルの予測力の最大差として定義する。
• 弱い仮定の下で、UMFIが提示された公理を満たすことを形式的に証明し、理論的妥当性を保証する。
• MCIの指数的コストを回避する超線形時間複雑度でUMFIを計算するスケーラブルなアルゴリズムを実装する。
• 実データセット（BRCA、CAMELS）に適用し、シミュレーションデータを用いて性能と頑健性を評価する。

実験結果

リサーチクエスチョン

• RQ1 因果的および関連的関係の説明に適した理論的公理を満たす特徴量重要度手法を、観測データにおいて設計可能か？
• RQ2 線形回帰または最適輸送による従属除去は、相関のある特徴量が存在する状況での特徴量重要度推定を改善するか？
• RQ3 UMFIは、MCIと同様に指数的実行時間から超線形的実行時間へと低減しつつ、精度を維持または向上させられるか？
• RQ4 UMFIは、複雑な依存関係を示す実世界のデータセットにおいて、MCI、PI、CPI、およびアブレーションと比較して、真正に関連する特徴量をどれだけ正確に同定できるか？
• RQ5 UMFIは、BRCAおよびCAMELSデータセットにおいて、既知の生物学的および水文的関係をどれほど回復できるか？

主な発見

• UMFIは、MCIと同様に指数的実行時間から超線形的実行時間へと短縮し、中～大規模データセットにおける実用的利用を可能にする。
• BRCAデータセットにおいて、UMFIはBCL11AおよびCST9Lを上位特徴量として正しく同定し、既知の生物学的関連性と整合するが、SLC25A1に対して誤った重要度を示さない。
• CAMELS水文データセットにおいて、UMFIは平均降水量および乾燥度指数を最も重要な特徴量として正しく同定し、先行する水文研究と整合する。
• UMFIは、相関のある相互作用効果を同定する際、MCIと比較して優れている。特に、応答に共同で寄与する特徴量の低評価を回避する。
• 最適輸送および線形回帰による前処理を施したUMFIは、特徴量の依存関係を低減するが、完全には除去しないが、依然として信頼性の高い重要度スコアを提供する。
• 実データにおいて、UMFIはPIおよびMCIと同等の性能を達成するが、アブレーションの高分散やCPIの誤った結果を回避する。