[論文レビュー] Sequences of regressions and their independences

Nanny Wermuth, Kayvan Sadeghi|arXiv (Cornell University)|Mar 13, 2011

Bayesian Modeling and Causal Inference参考文献 83被引用数 4

ひとこと要約

本稿では、逐次的な単変量または多変量回帰をモデル化するための一般化として、回帰グラフを導入する。これは、ガウス型の仮定のもとでの条件付き独立性を捉えるものであり、マークフ・同値なDAGを求める多項式時間アルゴリズムを確立することで、因果推論および機械学習における効率的なモデル選択と解釈を可能にする。

ABSTRACT

Ordered sequences of univariate or multivariate regressions provide statistical modelsfor analysingdata fromrandomized, possiblysequential interventions, from cohort or multi-wave panel studies, but also from cross-sectional or retrospective studies. Conditional independences are captured by what we name regression graphs, provided the generated distribution shares some properties with a joint Gaussian distribution. Regression graphs extend purely directed, acyclic graphs by two types of undirected graph, one type for components of joint responses and the other for components of the context vector variable. We review the special features and the history of regression graphs, prove criteria for Markov equivalence anddiscussthenotion of simpler statistical covering models. Knowledgeof Markov equivalence provides alternative interpretations of a given sequence of regressions, is essential for machine learning strategies and permits to use the simple graphical criteria of regression graphs on graphs for which the corresponding criteria are in general more complex. Under the known conditions that a Markov equivalent directed acyclic graph exists for any given regression graph, we give a polynomial time algorithm to find one such graph.

研究の動機と目的

• 観察研究および実験的状況における回帰の逐次的表現を可能にする、一般化されたグラフィカルモデル枠組み（回帰グラフ）を形式化すること。
• 多変量ガウス分布に類似した仮定のもとで、回帰系列における条件付き独立性を特徴づけること。
• マークフ同値性の基準を回帰グラフに対して開発し、同一の統計的モデルに対する代替的解釈を可能にすること。
• 与えられた回帰グラフからマークフ同値な有向非巡回グラフ（DAG）を同定する多項式時間アルゴリズムを提供すること。
• 同値クラスの構造を活用することで、複雑な条件付き独立性の検定を回避し、因果発見および統計的モデリングを簡素化すること。

提案手法

• 回帰グラフに二種類の無向辺を導入する：一つは連関する応答変数の成分を、もう一つは文脈ベクトルの成分を表す。
• 回帰グラフにおけるマークフ性を定義し、グラフ上のd分離と確率分布における条件付き独立性を関連付ける。
• v構造やシャッターのないコリダーの構造を用いて、回帰グラフ間のマークフ同値性の基準を確立する。
• 標準的な仮定のもとで、任意の回帰グラフが少なくとも一つのマークフ同値なDAGを有することを証明する。
• 同値クラスの構造を活用し、与えられた回帰グラフからマークフ同値なDAGを計算する多項式時間アルゴリズムを開発する。
• グラフィカル基準を用いて、モデル選択および推論を簡素化し、複雑な条件付き独立性の検定を回避する。

実験結果

リサーチクエスチョン

• RQ1 回帰の逐次的系列を、条件付き独立性を捉える統一的グラフィカルモデルとしてどのように表現できるか？
• RQ2 どのような条件下で、回帰グラフが有向非巡回グラフ（DAG）とマークフ同値となるか？
• RQ3 任意の与えられた回帰グラフに対して、マークフ同値なDAGを求める多項式時間アルゴリズムを構築可能か？
• RQ4 回帰グラフの構造的特徴（特に二種類の無向辺）は、統計的独立性とどのように関係するか？
• RQ5 回帰グラフにおけるマークフ同値性は、モデルの解釈および機械学習の応用において、どのような点で改善をもたらすか？

主な発見

• 回帰グラフは、二種類の無向辺を組み込むことで、有向非巡回グラフ（DAG）を拡張し、連関する応答変数および文脈変数の表現を可能にする。
• ガウス型の仮定のもとで、回帰系列における条件付き独立性は、対応する回帰グラフにおけるd分離と等価である。
• v構造やシャッターのないコリダーなどの構造的特徴を用いて、回帰グラフ間のマークフ同値性を特徴づけられる。
• 任意の与えられた回帰グラフに対して、マークフ同値な有向非巡回グラフ（DAG）を計算する多項式時間アルゴリズムが存在する。
• マークフ同値なDAGの存在により、同一の回帰系列に対する代替的解釈が可能となり、モデルの柔軟性が向上する。
• 回帰グラフのグラフィカル基準は、一般のグラフィカルモデルと比較して、条件付き独立構造の同定を簡素化する。