[논문 리뷰] Learning Directed Graphical Models from Gaussian Data

Katherine Fitch|arXiv (Cornell University)|2019. 06. 19.

Bayesian Modeling and Causal Inference참고 문헌 24인용 수 6

한 줄 요약

이 논문은 가우시안 데이터를 위한 새로운 유형의 유도 그래픽 모델인 가우시안 그래프 상호작용 모델(GGIM)을 소개한다. 이 모델은 그래프 상의 정적 가우시안 과정을 활용하여 공분산 행렬과 라플라시안 행렬을 연결하는 라플라스 방정식을 통해 유도된 조건부 인성을 정의한다. 주요 기여는 희소 GGIM을 학습하기 위한 라소 기반 방법으로, 이는 표준 $l_1$-정규화된 공분산 역행렬 추정과 동치임을 보여주는 이론적 경계를 제공하며, 기존의 무향 GGM을 초월해 유도적이고 순환적이며 희소한 그래픽 모델링을 가능하게 한다.

ABSTRACT

In this paper, we introduce a new directed graphical model from Gaussian data: the Gaussian graphical interaction model (GGIM). The development of this model comes from considering stationary Gaussian processes on graphs, and leveraging the equations between the resulting steady-state covariance matrix and the Laplacian matrix representing the interaction graph. Through the presentation of conceptually straightforward theory, we develop the new model and provide interpretations of the edges in the graphical model in terms of statistical measures. We show that when restricted to undirected graphs, the Laplacian matrix representing a GGIM is equivalent to the standard inverse covariance matrix that encodes conditional dependence relationships. Furthermore, our approach leads to a natural definition of directed conditional independence of two elements in a stationary Gaussian process. We demonstrate that the problem of learning sparse GGIMs for a given observation set can be framed as a LASSO problem. By comparison with the problem of inverse covariance estimation, we prove a bound on the difference between the covariance matrix corresponding to a sparse GGIM and the covariance matrix corresponding to the $l_1$-norm penalized maximum log-likelihood estimate. Finally, we consider the problem of learning GGIMs associated with sparse directed conditional dependence relationships. In all, the new model presents a novel perspective on directed relationships between variables and significantly expands on the state of the art in Gaussian graphical modeling.

연구 동기 및 목표

• 무향 GGM과 베이지안 네트워크와 같은 DAG 기반 모델의 한계를 극복하여 가우시안 그래픽 모델에서 변수 간의 유도적 상호작용을 모델링하기 위한 새로운 프레임워크를 개발하는 것.
• 그래프 상의 정적 가우시안 과정과 그 정적 공분산 행렬을 활용하여 유도적 조건부 인성을 일관적으로 정의하는 것.
• l1-정규화된 최적화를 통해 희소하고 유도적인 그래픽 구조—해를 포함한 순환 관계—를 학습할 수 있도록 하는 것.
• 새로운 모델과 고전적 공분산 역행렬 추정 간의 이론적 연결을 확립하고, 결과로 얻어진 공분산 행렬 추정치의 오차 경계를 증명하는 것.
• 무오차 역행렬과 투영 기반 재구성된 라플라스 방정식을 통해 양의 준정적 공분산 행렬로의 모델 확장을 위한 것.

제안 방법

• 데이터 공분산 행렬을 유도 그래프 상의 정적 가우시안 과정의 정적 공분산으로 모델링하여 GGIM을 수식화한다.
• 상호작용 그래프의 라플라시안 행렬 $L$과 공분산 행렬 $oldsymbol{ m extbackslash Sigma}$ 사이의 관계를 라플라스 방정식 $Loldsymbol{ m extbackslash Sigma} + oldsymbol{ m extbackslash Sigma}L^T = 2I$를 통해 유도한다.
• 라플라시안 행렬의 구조를 통해 유도적 조건부 인성을 정의하며, 간선 방향성이 과정의 역학에서 비대칭적 영향을 반영한다.
• 라플라스 방정식 제약 조건 하에 $ olimits\|L\|_1$을 최소화하는 방식으로 희소 GGIM 학습 문제를 라소 유형 최적화 문제로 재구성한다.
• 질량이 없는 공분산 행렬의 경우, 모든 1로 구성된 벡터의 수직보완 공간에 투영하기 위해 $Q$를 적용하고, 축소된 공간에서 라플라스 방정식을 재구성한다.
• 제약 조건이 있는 최적화 방법을 통해 라플라시안 행렬 $\hat{L}$을 추정하고, 이로부터 $\hat{\Psi}$와 $\hat{\kappa}$(투영 및 비대칭 성분)를 유일하게 복원한다.

실험 결과

연구 질문

• RQ1 정적 과정을 활용한 그래프 상에서 가우시안 그래픽 모델에 대해 일관된 유도적 조건부 인성의 개념을 정의할 수 있는가?
• RQ2 i.i.d. 가우시안 관측치로부터 유도적이고 가능하면 순환적인 상호작용 그래프의 구조를 어떻게 학습할 수 있는가?
• RQ3 GGIM과 고전적 공분산 역행렬 추정 간의 추정 오차 및 희소성 측면에서의 관계는 무엇인가?
• RQ4 GGIM의 학습 문제를 라소 스타일 정규화에 적합한 볼록 최적화 문제로 재구성할 수 있는가?
• RQ5 질량이 없는 공분산 행렬을 다룰 수 있도록 모델을 어떻게 확장할 수 있는가?

주요 결과

• GGIM 프레임워크는 정적 가우시안 과정의 역학에 기반하여 무향 GGM의 조건부 인성과는 다를 바 있는 자연스러운 유도적 조건부 인성의 정의를 제공한다.
• 무향 그래프로 제한된 경우 GGIM의 라플라시안 행렬은 고전적 GGM의 표준 공분산 역행렬로 축소되며, 고전적 GGM과의 일致성을 입증한다.
• 희소 GGIM 학습 문제는 라소 문제로 동치임이 증명되어 기존 알고리즘을 활용한 효율적인 계산이 가능하다.
• 논문은 GGIM을 통해 추정된 공분산 행렬과 $l_1$-정규화된 최대우도 추정치 간의 차이에 대해 이론적 경계를 증명하여 추정 안정성을 확보한다.
• 양의 준정적 공분산 행렬의 경우, 투영 행렬과 무오차 역행렬을 활용하여 라플라스 방정식을 축소된 부분공간에서 재구성함으로써 일관성을 유지한다.
• 추정된 라플라시안 행렬 $\hat{L}$은 투영 행렬 $\hat{\Psi}$와 비대칭 성분 $\hat{\kappa}$를 유일하게 결정하며, 이는 상호작용 그래프의 전체 구조를 재구성할 수 있음을 보장한다.