[論文レビュー] Direct Learning with Guarantees of the Difference DAG Between Structural Equation Models

Asish Ghoshal, Kevin Bello+1 more|arXiv (Cornell University)|Jun 28, 2019

Bayesian Modeling and Causal Inference参考文献 14被引用数 4

ひとこと要約

本稿では、同一のトポロジカルオーダーを持つ2つの線形構造方程式モデル（SEM）間の構造的差異を直接推定する学習アルゴリズムを提案する。精密行列の差に着目することで、標本効率性を達成する。この手法は、唯一 $\/mathcal{O}(d^2 \log p)$ の標本数で差のDAGの正確な回復を保証する。ここで $d$ は差のDAGのスパarsityを表す。また、根本的な標本複雑性の下界を確立する。

ABSTRACT

Discovering cause-effect relationships between variables from observational data is a fundamental challenge in many scientific disciplines. However, in many situations it is desirable to directly estimate the change in causal relationships across two different conditions, e.g., estimating the change in genetic expression across healthy and diseased subjects can help isolate genetic factors behind the disease. This paper focuses on the problem of directly estimating the structural difference between two structural equation models (SEMs), having the same topological ordering, given two sets of samples drawn from the individual SEMs. We present an principled algorithm that can recover the difference SEM in $\mathcal{O}(d^2 \log p)$ samples, where $d$ is related to the number of edges in the difference SEM of $p$ nodes. We also study the fundamental limits and show that any method requires at least $Ω(d' \log \frac{p}{d'})$ samples to learn difference SEMs with at most $d'$ parents per node. Finally, we validate our theoretical results with synthetic experiments and show that our method outperforms the state-of-the-art. Moreover, we show the usefulness of our method by using data from the medical domain.

研究の動機と目的

• 同じトポロジカルオーダーの下で、個々のモデルの回復を経由する間接的手法を避けることにより、2つのSEM間の因果構造の差を直接推定すること。
• 個々のSEMが密であるが、その差がスパースであるような状況においても、有限標本における差のDAG回復の保証を達成すること。
• 差のSEMを学習するための根本的な標本複雑性の限界を確立し、$\\Omega(d'\\log(p/d'))$ の標本数の下界を示すこと。
• 合成データおよび実世界の実験（特に医療用fMRIデータセットを含む）を通じて、最先端の手法と比較して本手法の優位性を検証すること。

提案手法

• アルゴリズムは頂点を再帰的に削除し、残りの変数上で差の精密行列の再推定を繰り返す。既存の精密行列差推定手法を活用する。
• 元のSEMにおける個々の回帰係数やノイズ分散の推定を回避し、差構造にのみ焦点を当てる。
• 差のDAGの安定的回復を保証するため、相互非整合性条件に依存する。
• 集中不等式を用いて有限標本の保証を導出し、標本複雑性は差の精密行列の $\\ell_1$-ノルムおよび両条件下での最小対角分散に依存する。
• 推定誤差を制御するためのしきい値 $\\epsilon$ を用いた有限標本版としてアルゴリズムを実装し、高確率で正確な回復を保証する。
• 理論的分析では、高次元統計分野における精密行列の差に関する結果を活用し、タイトな境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 個々のモデルを最初に推定する間接的手法よりも、少ない標本数で2つのSEM間の差のDAGを直接推定できるか？
• RQ2 ノードあたり最大 $d'$ 個の親を持つ2つのSEM間の差のDAGを学習するための根本的標本複雑性の下界は何か？
• RQ3 直接的な差推定の標本複雑性は、個々のモデル回復を経由する間接的推定と比べてどのように異なるか？
• RQ4 どのような条件下で、差のDAG回復に対して有限標本の保証を達成できるか？
• RQ5 提案手法は合成的および実世界の設定において、既存の手法を上回る性能を示すか？

主な発見

• 提案手法は、差のDAGを高確率で正確に回復でき、標本数が $\\mathcal{O}(d^2 \\log p)$ で十分である。ここで $d$ は差のDAGに含まれるエッジ数を表す。
• 本手法の標本複雑性は、差のDAGのスパarsityおよび差の精密行列の $\\ell_1$-ノルムにのみ依存し、全体のモデルの複雑性には依存しない。
• 一致する下界 $\\Omega(d'\\log(p/d'))$ が確立され、本手法が対数的要因を除いて標本最適であることが示された。
• 個々のモデルが密であるが差がスパースであるような状況では、個々のモデルを推定する間接的手法よりも本手法が優れている。
• 実世界のfMRI実験では、視覚皮質において特に生物学的に意味のある脳結合性の変化を、157の領域のうちわずか12領域が差のDAGに参加する程度で正確に同定した。
• 合成実験により、変数数 $p$ に対する対数的依存性が確認され、理論的 $\\mathcal{O}(\\log p)$ の標本複雑性スケーリングが妥当であることが裏付けられた。