[論文レビュー] Causal Feature Selection via Orthogonal Search

Ashkan Soleymani, Anant Raj+3 more|arXiv (Cornell University)|Jul 6, 2020

Bayesian Modeling and Causal Inference被引用数 4

ひとこと要約

本稿では、純粋な観測データから応答変数の直接的因果親を同定するために、直交探索とダブルマシンラーニングの原則を組み合わせた新しい因果特徴選択手法を提案する。この手法は多項式時間での計算を可能とし、非線形および循環的関係に対応可能であり、理論的保証を備えており、高次元設定において既存手法を著しく上回る性能を発揮する。

ABSTRACT

The problem of inferring the direct causal parents of a response variable among a large set of explanatory variables is of high practical importance in many disciplines. However, established approaches often scale at least exponentially with the number of explanatory variables, are difficult to extend to nonlinear relationships, and are difficult to extend to cyclic data. Inspired by {\em Debiased} machine learning methods, we study a one-vs.-the-rest feature selection approach to discover the direct causal parent of the response. We propose an algorithm that works for purely observational data while also offering theoretical guarantees, including the case of partially nonlinear relationships possibly under the presence of cycles. As it requires only one estimation for each variable, our approach is applicable even to large graphs. We demonstrate significant improvements compared to established approaches.

研究の動機と目的

• 純粋な観測データのみを用いて、高次元的・非線形的かつ循環的構造を有するシステムにおける応答変数の直接的因果親を同定する課題に対処すること。
• 従来の因果発見手法の限界、すなわち指数的スケーリング、介入データ依存性、高次元設定における性能の低さを克服すること。
• 複雑な構造方程式モデルにおける特徴選択において、低バイアスと高い統計的パワーを維持するスケーラブルで理論的裏付けのある手法を開発すること。
• ダブルマシンラーニングの原則を、因果発見のための1対多特徴選択フレームワークに拡張すること。
• 提案手法の一致性および選択精度に関する漸近的理論的保証を提供すること。

提案手法

• 本手法は1対多アプローチを採用し、各共変量を潜在的な直接的要因とみなして、直交化推定方程式を用いてその因果効果を推定する。
• 各係数の推定におけるバイアスを低減するために、ダブルマシンラーニングを活用し、正則化に起因するバイアスを除去する。
• 各変数について、他のすべての変数が与えられたもとでの応答変数の条件付き平均を推定する。この際、機械学習モデルを用いて交絡要因を制御する。
• 直交化ステップにより、目的の係数の推定量が漸近的に正規分布に従い、高次元設定下でもほぼ不偏となることが保証される。
• アルゴリズムは計算的に効率的であり、各変数に対して1回の推定のみを要するため、大規模なグラフへのスケーラビリティが確保される。
• 理論的保証は、応答変数が共変量に直接的影響を及ぼさない（NFD）および直接的効果が線形である（LDC）という仮定の下で導出されており、非線形および循環的構造に対しても成立する。

実験結果

リサーチクエスチョン

• RQ1 ダブルマシンラーニングの原則に基づく1対多特徴選択アプローチは、純粋な観測データ、高次元的データにおいて、直接的因果親を効果的に同定できるか？
• RQ2 非線形関係および循環的交絡構造が存在する状況下でも、提案手法は統計的一貫性と低バイアスを維持できるか？
• RQ3 高次元設定において理論的保証を保持しつつ、多項式時間の計算複雑度を達成できるか？
• RQ4 Lassoのような標準的な正則化手法と比較して、提案手法は高次元的因果特徴選択における選択精度とバイアス低減の点で優れているか？
• RQ5 本手法は、複雑で非線形的かつ循環的な依存関係を有する実世界のデータセットへどの程度一般化可能か？

主な発見

• 提案手法は、既存のアプローチと比較して、特に高次元的かつ非線形的設定において、因果特徴選択の精度を顕著に向上させた。
• 本手法は強力な実験的性能を示し、1000回の反復実験において、入院患者の年齢クォンタイルや血液ガスパラメータといった重要な臨床的特徴が、準集中ケアユニット入院の直接的因果要因として正しく同定された。
• 1000回の繰り返し実験において、準集中ケアユニットおよび集中ケアユニットの両結果について、患者の年齢クォンタイルが100％の確率で直接的因果要因として予測された。これは、高い安定性と信頼性を示している。
• pO2、ctO2、およびpHの静脈血液ガス分析に関する特徴は、90％以上の確率で直接的因果要因として予測され、臨床的期待に一致した。
• 本手法は、クレアチニン、ラクチックデヒドロゲナーゼ、トランスアミナーゼなどの生物学的に妥当な直接的因果要因を、複雑な医療データセットにおいて高頻度で同定した。
• 特にサンプル数が限られる高次元的状況下において、標準的なLassoや正則化なしの重回帰分析のベースラインと比較して、本手法は選択精度の向上とバイアス低減の両面で優れた性能を示した。