[論文レビュー] Switching Regression Models and Causal Inference in the Presence of Discrete Latent Variables

Rune Christiansen, Jonas Peters|arXiv (Cornell University)|Aug 16, 2018

Bayesian Modeling and Causal Inference参考文献 56被引用数 5

ひとこと要約

本稿では、一部の因果親が観測されておらず、離散的値を取る隠れ変数が存在する状況下で、応答変数 Y の直接の原因要因を観測された予測子 X の中から同定するための因果発見手法 ICPH を提案する。h-不変性を用いて不変性原理を隠れ変数に拡張することで、スイッチング回帰モデルと尤度比検定（モデル等価性のため）を用い、やや弱い条件下でも漸近的に制御された誤発見率を達成する。シミュレーションおよび実データにおいても安定した性能を示す。

ABSTRACT

Given a response $Y$ and a vector $X = (X^1, \dots, X^d)$ of $d$ predictors, we investigate the problem of inferring direct causes of $Y$ among the vector $X$. Models for $Y$ that use all of its causal covariates as predictors enjoy the property of being invariant across different environments or interventional settings. Given data from such environments, this property has been exploited for causal discovery. Here, we extend this inference principle to situations in which some (discrete-valued) direct causes of $ Y $ are unobserved. Such cases naturally give rise to switching regression models. We provide sufficient conditions for the existence, consistency and asymptotic normality of the MLE in linear switching regression models with Gaussian noise, and construct a test for the equality of such models. These results allow us to prove that the proposed causal discovery method obtains asymptotic false discovery control under mild conditions. We provide an algorithm, make available code, and test our method on simulated data. It is robust against model violations and outperforms state-of-the-art approaches. We further apply our method to a real data set, where we show that it does not only output causal predictors, but also a process-based clustering of data points, which could be of additional interest to practitioners.

研究の動機と目的

• 応答変数 Y の一部の直接的因果要因が観測されておらず、離散的値を取る状況における因果発見を扱う。
• 観測的因果発見に用いられる不変性原理を、隠れ離散変数を含む状況に拡張するため、h-不変性を導入する。
• スイッチング回帰モデルの等価性を検定する統計的検定を構築し、モデル誤指定下での因果推論を可能にする。
• 因果親が部分的に観測されていても、漸近的誤発見率制御を維持する手法を提供する。
• シミュレーションおよび実世界データ応用（潜在状態を用いたデータクラスタリングを含む）を通じて、手法の頑健性と実用的有用性を示す。

提案手法

• 標準的不変性の緩和として h-不変性を導入し、潜在変数 H の条件下で Y に対する X の回帰係数が環境間で不変であると仮定する。
• 各 H の値に対して異なる係数を持つ線形スイッチング回帰モデルとしてシステムをモデル化する。
• ガウスノイズを伴う線形スイッチング回帰モデルにおける最尤推定量（MLE）の存在、一貫性、漸近正規性の十分条件を導出する。
• 環境間におけるスイッチング回帰モデルの等価性を検定する尤度比検定を提案し、漸近的有意水準制御を保証する。
• h-不変性を予測子の部分集合に対してテストし、隠れ変数構造下で不変であるものを選別するアルゴリズム（ICPH）を開発する。
• 高次元設定におけるスケーラビリティを高めるために変数スクリーニング（例：Lasso を用いて）を統合し、未知または複数の潜在状態に対応するため、最大p値戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 不変性原理は、離散的未観測交絡要因が存在する状況に拡張可能か？
• RQ2 隠れ離散状態を伴うスイッチング回帰モデルにおいて、最尤推定量が存在し、一貫性を保つ条件は何か？
• RQ3 環境間におけるスイッチング回帰モデルを比較する有効な統計的検定を構築可能か？
• RQ4 一部の因果要因が観測されていても、提案手法が漸近的誤発見率制御を達成するか？
• RQ5 有限標本下において、h-不変性仮定のわずかな違反やモデル誤指定に対して、手法はどれほど頑健か？

主な発見

• ガウスノイズを伴う線形スイッチング回帰モデルにおける最尤推定量（MLE）は、やや弱い正則性条件のもとで一貫性を示し、漸近的に正規分布に従う。
• 提案されたスイッチング回帰モデルの等価性を検定する尤度比検定は、漸近的有意水準制御を達成し、有効な推論を可能にする。
• ICPH は、h-不変性仮定のもとで、因果親が一部観測されていても、漸近的誤発見率制御を達成する。
• シミュレーションでは、潜在状態数が未知であっても、第1種の誤り（type I error）制御が維持され、因果予測子（X¹ と X²）が回復されるが、状態数の増加に伴い検出力は低下する。
• h-不変性仮定のわずかな違反に対しても、ICPH は頑健であり、干渉によって係数がわずかに摂動しても因果変数を正しく同定できる。
• 高次元設定では、ICPH に Lasso スクリーニングを組み合わせることで性能が維持され、多数の予測子がある状況下でも効果的な因果発見が可能になる。