[論文レビュー] Detecting non-causal artifacts in multivariate linear regression models

Dominik Janzing, Bernhard Schoelkopf|arXiv (Cornell University)|Mar 2, 2018

Blind Source Separation Techniques参考文献 7被引用数 10

ひとこと要約

本稿では、共変量や過剰適合によって引き起こされる非因果的アーティファクトを検出するための統計的仮説検定を提案する。共変量をICAベースのフレームワークでモデル化することで、共変量と過剰適合の両方が予測子共分散行列の低固有値方向と回帰係数が一致することを示し、固有構造解析による検出が可能となる。

ABSTRACT

We consider linear models where $d$ potential causes $X_1,...,X_d$ are correlated with one target quantity $Y$ and propose a method to infer whether the association is causal or whether it is an artifact caused by overfitting or hidden common causes. We employ the idea that in the former case the vector of regression coefficients has 'generic' orientation relative to the covariance matrix $Σ_{XX}$ of $X$. Using an ICA based model for confounding, we show that both confounding and overfitting yield regression vectors that concentrate mainly in the space of low eigenvalues of $Σ_{XX}$.

研究の動機と目的

• 共変量や過剰適合が結果を歪める可能性がある状況において、多変量線形回帰で因果的関連と非因果的関連を区別する課題に対処すること。
• スカラ型共変量からの共変量検出の先行研究を多変量共変量へと拡張し、より広範な適用可能性を実現すること。
• 観測された予測子と目的変数の間の関連が因果的効果、共変量、または過剰適合によるものであるかどうかを特定する統計的仮説検定を開発すること。
• 共変量と過剰適合が予測子共分散行列に対する回帰係数の方向性に与える影響に、構造的な類似性があることを明らかにすること。
• 非一般的な係数の方向性が非因果的依存関係を示すという、一般性の原則に基づいた手法を提供すること。

提案手法

• 高次元の無相関源が混合行列とベクトルを介して予測子 $\mathbf{X}$ と目的変数 $Y$ に影響を与える多変量ICA風のフレームワークを用いて共変量をモデル化する。
• 共変量モデル下での回帰係数の分布を導出し、それが予測子共分散行列 $\Sigma_{XX}$ の低固有値部分空間に集中することを示す。
• 変数変換とヤコビアン解析を適用し、回帰係数の方向の確率密度を導出し、$\Sigma_{XX}$ の固有構造と関連付ける。
• 帰無仮説（共変量なし）下での一般性のある方向性と観測された回帰係数の方向を比較する統計的仮説検定を提案する。
• 共変量と過剰適合の両方が $\Sigma_{XX}$ の低固有値方向と係数ベクトルを一致させることに着目し、同時に検出可能であることを活用する。
• 直交射影と接空間写像を用いた幾何的議論により、モデル下での係数方向の密度を特徴付ける。

実験結果

リサーチクエスチョン

• RQ1 多変量線形回帰モデルにおける回帰係数が、真の因果的効果ではなく共変量や過剰適合によって駆動されているかどうかを検出できるか？
• RQ2 因果的、共変量あり、過剰適合ありの各状況において、回帰係数ベクトルの方向が $\Sigma_{XX}$ の固有構造に対してどのように異なるか？
• RQ3 多変量共変量モデルは、従来のスカラ型共変量アプローチよりも、より単純かつより頑健な検出手法を可能にするか？
• RQ4 共変量下で、$\mathbf{X}$ の周辺分布と条件付き分布 $P_{Y|\mathbf{X}}$ の統計的関係は何か？ そして、その関係は検出にどう利用できるか？
• RQ5 共変量と過剰適合の両方に対して、係数方向の同一の幾何的パターンが使用可能であり、統一的原則を示唆するか？

主な発見

• 共変量と過剰適合の両方が、予測子共分散行列 $\Sigma_{XX}$ の低固有値部分空間に回帰係数ベクトルが集中することを示し、この観点からは統計的に区別できない。
• 本手法は、$\Sigma_{XX}$ に対する回帰係数ベクトルの非一般的な方向性を特定することで非因果的アーティファクトを検出する。一般性はモデルのICAベースの共変量構造によって定義される。
• 共変量モデル下での回帰係数方向の確率密度を解析的に導出し、$A$ を混合行列として、$A^{-1}\tilde{v}$ のノルムの逆数に依存することを示した。
• 正則化と共変量補正の間の正式な関係を確立し、$P_{\mathbf{X}}$ と $P_{Y|\mathbf{X}}$ が独立であるモデルは一般化性能が高くなる可能性を示唆した。
• 提示された検定はモデル仮定に対して頑健であり、観測された関連が因果的かアーティファクトかを原理的かつ明確に評価する手法を提供する。
• 理論的枠組みは、多変量共変量を許容することで先行研究を拡張し、高次元設定におけるより現実的かつ一般化可能な因果推論を可能にする。