[논문 리뷰] Markov Properties for Graphical Models with Cycles and Latent Variables

Patrick Forré, Joris M. Mooij|arXiv (Cornell University)|2017. 10. 24.

Bayesian Modeling and Causal Inference참고 문헌 32인용 수 31

한 줄 요약

이 논문은 잠재 변수와 순환 구조를 모두 수용할 수 있는 통합 그래픽 모델 프레임워크인 하이퍼엣지 의존성 방향 그래프(HEDGes)를 소개한다. 이는 고전적인 mDAGs(잠재 변수를 위한)와 방향 혼합 그래프(DMGs, 순환 구조를 위한)를 일반화하며, 순환 구조와 관측되지 않은 혼란 변수를 수반하는 확률 그래픽 모델을 가능하게 한다. 다양한 마르코프 성질—요소 분해, 구조적 방정식, σ-분리 기반의 전역 마르코프 성질—을 정의하고, 순환 케이스에서는 이들이 동치가 아님을 보이며, 특히 σ-분리가 이러한 모델에서 조건부 인코어런스를 위한 강력한 기준임을 밝힌다.

ABSTRACT

We investigate probabilistic graphical models that allow for both cycles and latent variables. For this we introduce directed graphs with hyperedges (HEDGes), generalizing and combining both marginalized directed acyclic graphs (mDAGs) that can model latent (dependent) variables, and directed mixed graphs (DMGs) that can model cycles. We define and analyse several different Markov properties that relate the graphical structure of a HEDG with a probability distribution on a corresponding product space over the set of nodes, for example factorization properties, structural equations properties, ordered/local/global Markov properties, and marginal versions of these. The various Markov properties for HEDGes are in general not equivalent to each other when cycles or hyperedges are present, in contrast with the simpler case of directed acyclic graphical (DAG) models (also known as Bayesian networks). We show how the Markov properties for HEDGes - and thus the corresponding graphical Markov models - are logically related to each other.

연구 동기 및 목표

• 순환 구조와 잠재 변수를 동시에 수용할 수 있는 통합 그래픽 모델 프레임워크를 개발하여, mDAGs와 DMGs와 같은 기존 모델을 확장한다.
• 이 새로운 유형의 그래프에 대해 요소 분해, 구조적 방정식, 전역/국소 마르코프 성질 등의 다양한 마르코프 성질을 정의하고 분석한다.
• 특히, 순환 구조와 잠재 변수 존재 하에서 이러한 마르코프 성질 간의 논리적 관계를 규명한다.
• d-분리와 m-분리를 순환 및 비선형 함수 관계에 일반화할 수 있는 새로운 σ-분리 기준을 도입한다.
• 개입, 마진화, 피드백 루프를 일관되게 처리할 수 있는 잘 정의된 모듈러 구조적 인과 모델(mSCMs) 클래스를 정의한다.

제안 방법

• mDAGs와 DMGs의 일반화로 하이퍼엣지 의존성 방향 그래프(HEDGes)를 제안하며, 방향 에지와 하이퍼엣지를 조합하여 잠재적 혼란 변수와 순환적 의존성을 표현한다.
• HEDGes에서 조건부 인코어런스를 위한 새로운 기준인 σ-분리를 도입하여, 순환 및 비선형 설정에서 d-분리와 m-분리를 일반화한다.
• 다양한 마르코프 성질을 정의: 요소 분해, 구조적 방정식(SEP), 순서화된/국소/전역 마르코프 성질 및 그 마진화된 형태.
• 이 성질들 간의 논리적 함의 관계를 규명하며, $\text{aFP} \Rightarrow \text{dGMP} \Rightarrow \text{gdGMP} \Leftarrow \text{lsSEP}$ 라는 관계를 보이며, 역방향 함의는 추가 가정이 필요함을 밝힌다.
• 잠재 변수를 요약하는 하이퍼엣지를 포함한 모듈러 구조적 인과 모델(mSCMs)을 정의하여, 개입과 마진화가 잘 정의됨을 보장한다.
• 기존 연구에서 유도된 자코비안 기반 분석을 활용하여, 순환 설정에서 구조적 방정식이 전역 마르코프 성질을 유도하는 조건을 정당화한다.

실험 결과

연구 질문

• RQ1 순환 구조와 잠재 변수를 포함하는 그래픽 모델로, 기존의 비순환 모델에서의 마르코프 성질을 어떻게 일반화할 수 있는가?
• RQ2 잠재 혼란 변수가 존재하는 순환 및 비선형 구조적 방정식 모델에서 d-분리와 m-분리를 어떻게 일반화할 수 있는가?
• RQ3 순환 구조 존재 하에서 표준 마르코프 성질(예: 요소 분해, 전역 마르코프, 구조적 방정식)은 동치인가? 만약 아니면 그 논리적 의존성은 어떠한가?
• RQ4 순환 구조와 잠재 변수를 수반하는 모델에서 개입과 마진화를 일관되게 정의할 수 있는 프레임워크를 어떻게 설계할 수 있는가?
• RQ5 순환 모델에서 구조적 방정식 성질이 전역 마르코프 성질을 유도하는 조건은 무엇인가?

주요 결과

• HEDGes에 대한 다양한 마르코프 성질—예를 들어 요소 분해, 구조적 방정식, 전역 마르코프 성질—은 비순환 DAGs와 달리 순환 구조 존재 하에서는 동치가 아니다.
• 제안된 σ-분리 기준은 d-분리와 m-분리를 일반화하며, 비선형 함수와 잠재 혼란 변수를 포함한 순환 모델에서 조건부 인코어런스를 정확히 식별한다.
• 구조적 방정식 성질의 마진화된 형태(lsSEP)와 전역 마르코프 성질(gdGMP)은 논리적으로 관련되어 있으며, 특정 조건 하에서 gdGMP는 lsSEP에 의해 유도됨을 보였다.
• 논문은 천연 요소 분해 성질(aFP)이 방향 전역 마르코프 성질(dGMP)을 유도하며, 이는 마진화 하에서 전역 마르코프 성질(gdGMP)을 유도함을 규명했다.
• 개입, 마진화, 피드백 루프를 잘 정의할 수 있는 새로운 모듈러 구조적 인과 모델(mSCMs) 클래스를 정의하였으며, σ-분리를 통해 일관된 조건부 인코어런스를 표현한다.
• 이 프레임워크는 잠재 혼란 변수와 순환 구조를 완전하고 일관되게 다룰 수 있으며, 하이퍼엣지와 σ-분리를 통해 mDAGs와 ADMGs의 결과를 순환 케이스로 일반화한다.