[論文レビュー] Estimating a Causal Order among Groups of Variables in Linear Models

Doris Entner, Patrik O. Hoyer|arXiv (Cornell University)|Jul 9, 2012

Bayesian Modeling and Causal Inference参考文献 8被引用数 4

ひとこと要約

本稿では、線形非ガウスモデルを用いて、多次元変数群間の因果順序を推定する手法を提案する。LiNGAMをベクトル値のグループに拡張したものであり、独立性検定、対比較指標、正則化に基づくアルゴリズムを導入することで、平均ベースのLiNGAMなどの直感的手法に比べて、特に小標本および高次元の状況で優れた性能を示す。

ABSTRACT

The machine learning community has recently devoted much attention to the problem of inferring causal relationships from statistical data. Most of this work has focused on uncovering connections among scalar random variables. We generalize existing methods to apply to collections of multi-dimensional random vectors, focusing on techniques applicable to linear models. The performance of the resulting algorithms is evaluated and compared in simulations, which show that our methods can, in many cases, provide useful information on causal relationships even for relatively small sample sizes.

研究の動機と目的

• 既存の因果発見手法が集約されたスカラー変数に依存するという限界に対処すること。これは、大標本極限において情報損失を引き起こし、誤った結果をもたらす可能性がある。
• 計算的に効率的なアルゴリズムを因果順序推定のために開発すること。既知のグループ構造を活用することで、指数的複雑性を回避する。
• スカラー変数の因果発見手法（例：LiNGAM、DirectLiNGAM）を多次元確率的ベクトルに拡張すること。同時に、統計的一貫性を保つこと。
• 有限標本サイズおよび高次元設定下での性能を評価すること。特に、グループレベルの依存構造および非ガウス性が存在する状況において評価する。

提案手法

• データ生成過程を下三角ブロック係数行列を持つ一連の線形方程式としてモデル化することで、LiNGAMフレームワークを変数群に拡張する。
• 2段階のアルゴリズムを採用する。まず独立性検定を用いて外生的グループを同定し、次に逐次的回帰によりその影響を除去することで因果順序を回復する。
• 3つの変種を導入する：対比較指標（残差間の独立性に基づく）、トレース法（共分散行列のトレースを用いる）、GroupDirectLiNGAM（DirectLiNGAMのブロック構造拡張版）。
• 高次元・小標本状況における共分散行列推定の安定化のため、L²正則化を適用する。
• 標本サイズが次元に対して相対的に小さい場合のロバストネス向上のため、サブグループ抽出と交差検証を用いる。
• 非ガウス性および条件付き独立性検定を用いて因果順序を同定することで、制約ベース手法で一般的に見られるマークフ・同値性の問題を回避する。

実験結果

リサーチクエスチョン

• RQ1 グループレベルの依存構造および非ガウス性が存在する有限標本において、多次元変数群間の因果順序を信頼性高く推定できるか？
• RQ2 グループレベルの因果発見手法は、事前に変数をスカラーに集約する直感的手法に比べて、どのように性能が異なるか？
• RQ3 正則化およびサブグループ抽出は、高次元・小標本状況下での因果順序推定をどの程度改善するか？
• RQ4 誤差項がグループ内で依存する場合、標準的なICA仮定に違反するが、提案手法は一貫性と正確性を維持できるか？

主な発見

• 対比較指標およびGroupDirectLiNGAMは、シミュレーションで最小の誤差率を達成しており、標本サイズが増加するにつれて性能が著しく向上する。
• 平均ベースのDirectLiNGAMは、ランダムな推測と同等の性能であり、集約によって因果情報が損なわれていることを示している。
• 修正版ICA-LiNGAMはランダムよりは優れているが、標本サイズが増加するにつれて収束しなくなる。これは、i.i.d.誤差仮定に違反しているためと推測される。
• サブグループ抽出は、特に小標本において誤差率を低減する。ナーブな対比較指標は初期段階で優位性を示すが、一貫性に欠ける。
• L²正則化は、共分散行列が不正確に推定される低標本状況下で、トレース法および対比較指標の安定性を向上させる。
• 提案手法は、5グループのモデル（1グループあたり6または12変数）および200～1000の標本サイズを含む、すべてのテスト設定でベースライン手法を一貫して上回る。