[論文レビュー] Learning Directed Graphical Models from Gaussian Data

Katherine Fitch|arXiv (Cornell University)|Jun 19, 2019

Bayesian Modeling and Causal Inference参考文献 24被引用数 6

ひとこと要約

本稿では、ガウス過程の定常性を用いて、共分散行列とラプラシアン行列を結ぶリャプノフ方程式を通じて有向条件付き独立性を定義する、ガウスデータ向けの新規な有向グラフィカルモデル、Gaussian Graphical Interaction Model (GGIM) を提案する。主な貢献は、スパースGGIMの学習にLASSOに基づく手法を用い、理論的境界を示し、標準的な$l_1$-正則化逆共分散推定と同等であることを示した。これにより、従来の無向GGMにとらわれない、有向で循環的かつスパースなグラフィカルモデリングが可能になる。

ABSTRACT

In this paper, we introduce a new directed graphical model from Gaussian data: the Gaussian graphical interaction model (GGIM). The development of this model comes from considering stationary Gaussian processes on graphs, and leveraging the equations between the resulting steady-state covariance matrix and the Laplacian matrix representing the interaction graph. Through the presentation of conceptually straightforward theory, we develop the new model and provide interpretations of the edges in the graphical model in terms of statistical measures. We show that when restricted to undirected graphs, the Laplacian matrix representing a GGIM is equivalent to the standard inverse covariance matrix that encodes conditional dependence relationships. Furthermore, our approach leads to a natural definition of directed conditional independence of two elements in a stationary Gaussian process. We demonstrate that the problem of learning sparse GGIMs for a given observation set can be framed as a LASSO problem. By comparison with the problem of inverse covariance estimation, we prove a bound on the difference between the covariance matrix corresponding to a sparse GGIM and the covariance matrix corresponding to the $l_1$-norm penalized maximum log-likelihood estimate. Finally, we consider the problem of learning GGIMs associated with sparse directed conditional dependence relationships. In all, the new model presents a novel perspective on directed relationships between variables and significantly expands on the state of the art in Gaussian graphical modeling.

研究の動機と目的

• 無向GGMやベイジアンネットワークのようなDAGベースのモデルに起因する制限を克服し、ガウスグラフィカルモデルにおける変数間の有向相互作用をモデル化する新しいフレームワークの構築を目的とする。
• グラフ上の定常ガウス過程とその定常状態共分散行列を用いて、有向条件付き独立性の整合的な定義を提示することを目的とする。
• スパースで有向なグラフィカル構造（循環的関係を含む）の学習を、$l_1$-正則化最適化を用いて可能にすることを目的とする。
• 新モデルと古典的な逆共分散推定との間の理論的関係を確立し、得られる共分散行列推定値の誤差境界を証明することを目的とする。
• モア・ペンローズ一般化逆行列と射影に基づく再定式化を用いて、正定値半定値共分散行列へのモデルの拡張を目的とする。

提案手法

• データの共分散行列を、有向グラフ上の定常ガウス過程の定常状態共分散としてモデル化することで、GGIMを形式化する。
• 相互作用グラフのラプラシアン行列$L$と共分散行列$ extbackslash boldsymbol{ extbackslash rm extbackslash Sigma}$の関係を、リャプノフ方程式$L extbackslash boldsymbol{ extbackslash rm extbackslash Sigma} + extbackslash boldsymbol{ extbackslash rm extbackslash Sigma}L^T = 2I$を通じて導出する。
• エッジの向きがプロセスダイナミクスにおける非対称的影響を反映するように、ラプラシアン行列の構造を用いて有向条件付き独立性を定義する。
• リャプノフ制約を満たす$L$の$l_1$ノルム$\|L\|_1$の最小化問題として、スパースGGIMの学習問題をLASSO型最適化問題に再定式化する。
• ランク不足の共分散行列の場合は、すべての1のベクトルの直交補空間への射影に用いる$Q$を用い、低次元空間におけるリャプノフ方程式の再定式化を実施する。
• 制約付き最適化アプローチによりラプラシアン行列$\hat{L}$を推定し、そこから$\hat{\Psi}$（射影成分）および$\hat{\kappa}$（反対称成分）を一意に回復する。

実験結果

リサーチクエスチョン

• RQ1 定常ガウス過程を用いたグラフ上で、ガウスグラフィカルモデルに有向条件付き独立性の整合的定義を定義できるか？
• RQ2 i.i.d.ガウス観測値から、有向で、場合によっては循環的な相互作用グラフの構造をどのように学習できるか？
• RQ3 GGIMと古典的逆共分散推定との間の推定誤差およびスパarsityの観点での関係は何か？
• RQ4 GGIMの学習問題を、LASSO風正則化に適した凸最適化問題として定式化できるか？
• RQ5 ランク不足の正定値半定値標本共分散行列を扱えるように、モデルをどのように拡張できるか？

主な発見

• GGIMフレームワークは、定常ガウス過程のダイナミクスに基づく自然な有向条件付き独立性の定義を提供し、GGMにおける無向条件付き独立性とは明確に異なる。
• 無向グラフに制限した場合、GGIMのラプラシアン行列は標準的な逆共分散行列に簡約され、古典的GGMと整合的であることが示された。
• スパースGGIMの学習問題は、LASSO問題と同等であることが示され、既存のアルゴリズムを用いた効率的計算が可能になった。
• 本稿では、GGIMによる共分散行列推定値と$l_1$-正則化最大尤度推定値との差の理論的境界を証明し、推定の安定性を保証した。
• 正定値半定値共分散行列の場合は、射影行列とモア・ペンローズ一般化逆行列を用いて、リャプノフ方程式を低次元部分空間で再定式化し、整合性を保持した。
• 推定されたラプラシアン行列$\hat{L}$は、射影行列$\hat{\Psi}$および反対称成分$\hat{\kappa}$を一意に決定でき、相互作用グラフ構造の完全な再構成が可能になった。