[論文レビュー] Statistically Valid Variable Importance Assessment through Conditional Permutations

Ahmad Chamma, Denis A. Engemann+1 more|arXiv (Cornell University)|Sep 14, 2023

Statistical Methods in Clinical Trials被引用数 6

ひとこと要約

本稿では、特にバイオメディカル応用を想定した高次元で相関のあるデータにおける変数重要度評価のための統計的に妥当でモデルに依存しない手法として、条件付き順列重要度（CPI）を提案する。他の共変量を条件として順列を実行することにより、CPIは正しい第一種誤り割合の制御を保証し、相関がある状況でも標準的な順列手法に比べて真の予測子をより正確に特定し、偽陽性を最小限に抑える。特に深層ニューラルネットワークや実世界の医療データにおいても優れた性能を示す。

ABSTRACT

Variable importance assessment has become a crucial step in machine-learning applications when using complex learners, such as deep neural networks, on large-scale data. Removal-based importance assessment is currently the reference approach, particularly when statistical guarantees are sought to justify variable inclusion. It is often implemented with variable permutation schemes. On the flip side, these approaches risk misidentifying unimportant variables as important in the presence of correlations among covariates. Here we develop a systematic approach for studying Conditional Permutation Importance (CPI) that is model agnostic and computationally lean, as well as reusable benchmarks of state-of-the-art variable importance estimators. We show theoretically and empirically that $ extit{CPI}$ overcomes the limitations of standard permutation importance by providing accurate type-I error control. When used with a deep neural network, $ extit{CPI}$ consistently showed top accuracy across benchmarks. An experiment on real-world data analysis in a large-scale medical dataset showed that $ extit{CPI}$ provides a more parsimonious selection of statistically significant variables. Our results suggest that $ extit{CPI}$ can be readily used as drop-in replacement for permutation-based methods.

研究の動機と目的

• 共変量が相関を持つ状況において、標準的な順列重要度が、重要でない変数を有意であると誤って特定するという、顕著な限界を解決すること。
• 依存性下でも統計的妥当性を保つ理論的裏付けが強く、計算効率の高い条件付き順列重要度（CPI）のフレームワークを構築すること。
• 特徴量の相関が広範に存在する複雑な高次元バイオメディカルデータ（例：マルチモodal神経画像データや遺伝子データ）において、信頼性の高い変数選択を可能にすること。
• 多様なデータ生成プロセスと相関レベルを想定した、変数重要度推定器のベンチマーク評価に再利用可能なライブラリを提供すること。
• CPIの実用的有用性を、実世界の医療データセットにおける応用を通じて示し、よりシンプルで統計的に妥当な変数選択を実現すること。

提案手法

• 他の共変量の固定された水準内でのみターゲット変数の順列を実行する条件付き順列スキームを提案し、それらの同時依存構造を保持する。
• 高い予測性能を発揮するためのベースラーナーとして深層ニューラルネットワーク（DNN）を採用し、計算効率を確保するための条件付き確率推定器としてランダムフォレストを用いる。
• CPIを二段階フレームワークに統合する：まず、他の特徴量を条件としたターゲットの条件付き分布を推定し、次に条件付き順列を用いて重要度を計算する。
• 帰無仮説（重要度なし）下での順列に基づくp値を用い、条件付き順列における第一種誤り割合の制御について理論的裏付けを提供する。
• CPIのシミュレーションおよび実世界応用、ベンチマーク評価に適した再利用可能なオープンソースライブラリ（GitHub: achamma723/Variable_Importance）を実装する。
• p値を経験的帰無分布を用いて補正し、シミュレーションおよび実データにおける正規性仮定の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 相関のある予測子が存在する状況でも、標準的な順列重要度とは異なり、条件付き順列重要度（CPI）は適切な第一種誤り割合の制御を維持するか？
• RQ2 CPIは、多様なデータ生成メカニズムや相関構造を想定した状況で、既存の変数重要度手法（例：Permfit、Lazy VI）と比較して、真の予測子をどれほど正確に特定できるか？
• RQ3 CPIは、表現力の高い学習器（例：深層ニューラルネットワーク）と効果的に組み合わせられ、統計的妥当性を損なわないか？
• RQ4 CPIは、高次元で相関のある特徴量を持つ実世界のバイオメディカルデータセットにおいて、変数選択のシンプルさと偽陽性の制御にどのような影響を及ぼすか？
• RQ5 CPIは、神経画像やゲノム学などのマルチモーダルデータにおいて、誤った重要度を低減しつつ、統計的パワーをどれほど維持できるか？

主な発見

• CPIは、高相関や複雑な相互作用構造を含むすべてのシミュレーション状況で、きびしい第一種誤り割合の制御を達成した。一方、標準的な順列手法は依存性下で失敗した。
• CPI-DNNは、すべてのベンチマークでPermfit-DNNや他のベースラインを上回り、多様なデータ生成プロセス下でも関連変数の特定において一貫した高い精度を示した。
• 大規模医療データセット（UK Biobank）の実世界解析において、CPI-DNNはPermfit-DNNよりも少ない変数を重要と特定した。これは、偽陽性のより厳密な制御を示している。
• CPIは相関に対して頑健であることが示された。標準的な順列手法では、低相関レベルや小規模な訓練データセットでも顕著な性能劣化が観察された。
• 理論的分析により、CPIの条件付き順列メカニズムが、相関のある特徴量下でマージナル順列重要度の根本的欠陥を是正することを確認した。
• 実証的検証により、CPIからのp値は帰無仮説下で適切に補正されており、推論に標準正規近似を用いることが妥当であることを裏付けた。