[논문 리뷰] Faithfulness of Probability Distributions and Graphs

Kayvan Sadeghi|arXiv (Cornell University)|2017. 01. 29.

Bayesian Modeling and Causal Inference참고 문헌 35인용 수 4

한 줄 요약

이 논문은 혼합 그래프에서 변수 순서의 일반화된 개념인 전순서(preordering)를 사용하여 확률 분포가 그래프에 충실(faithful)하기 위한 필요 및 충분 조건을 제공한다. 충실성은 독립 모델이 조합적 그래프로드 공리, 단일 요소 전이성, 순서 기반 상향 및 하향 안정성 조건을 만족할 때이고, 오직 그 때에만 성립함을 규명하여, DAG, 무방향, 이방향 그래프를 포함한 다양한 그래프 유형에서 인과적 탐색 및 그래픽 모델 선택을 위한 기초 틀을 제공한다.

ABSTRACT

A main question in graphical models and causal inference is whether, given a probability distribution $P$ (which is usually an underlying distribution of data), there is a graph (or graphs) to which $P$ is faithful. The main goal of this paper is to provide a theoretical answer to this problem. We work with general independence models, which contain probabilistic independence models as a special case. We exploit a generalization of ordering, called preordering, of the nodes of (mixed) graphs. This allows us to provide sufficient conditions for a given independence model to be Markov to a graph with the minimum possible number of edges, and more importantly, necessary and sufficient conditions for a given probability distribution to be faithful to a graph. We present our results for the general case of mixed graphs, but specialize the definitions and results to the better-known subclasses of undirected (concentration) and bidirected (covariance) graphs as well as directed acyclic graphs.

연구 동기 및 목표

• 주어진 확률 분포가 그래프에 충실한지 여부를 판단하는 열린 문제를 해결하기 위해.
• 변수 순서 개념을 일반화하여 혼합 그래프에서 다양한 간선 유형을 가진 그래프에 대한 충실성 조건을 가능하게 하기 위해.
• 무방향, 이방향, 그리고 방향 순환 그래프(DAGs)를 포함한 모든 그래프 유형에 일반적으로 적용 가능한 충실성에 대한 필요 및 충분 조건을 제공하기 위해.
• 독립 모델과 구조적 제약 조건을 통해 충실성을 형식화하여 인과 추론을 지원하기 위해.
• 전순서와 안정성 조건을 활용하여 테스트 가능한 조건을 식별함으로써 구조 학습 알고리즘의 효율성을 높이기 위해.

제안 방법

• 혼합 그래프의 노드에 대해 순서 기반 상향 및 하향 안정성을 정의하기 위해 전순서(preordering)라는 일반화된 순서 개념을 도입한다.
• 독립 모델에 대한 기본 제약 조건으로 조합적 그래프로드 공리와 단일 요소 전이성(singleton-transitivity)를 적용한다.
• 최소 간선을 가진 그래프에 대해 독립 모델이 마르코프적임을 보장하는 필요 및 충분 조건을 유도한다.
• 기존에 잘 알려진 그래프 유형으로 일반 결과를 특수화한다: 무방향 그래프(농도), 이방향 그래프(공분산), 그리고 방향 순환 그래프(DAGs).
• 전순서를 활용하여 구조 학습에서 간선 방향을 안내하고, 안정성 조건을 통해 충실성을 보장한다.
• 전순서와 안정성 검사를 활용하여 신속하게 충실한 그래프를 구성하는 제약 기반 구조 학습 알고리즘을 제안한다.

실험 결과

연구 질문

• RQ1 주어진 확률 분포가 혼합 그래프에 충실한 조건은 무엇인가?
• RQ2 변수 순서 개념을 어떻게 일반화하여 다양한 간선 유형을 가진 혼합 그래프에서 충실성을 지원할 수 있는가?
• RQ3 확률 분포가 그래프에 충실하기 위해 필요한 독립 모델의 성질은 무엇인가?
• RQ4 실제로, 특히 가우시안 및 이산 분포의 경우에 충실성 조건을 효율적으로 테스트할 수 있는가?
• RQ5 전순서와 안정성 제약 조건을 통해 구조 학습 알고리즘에서 충실성을 보장할 수 있는가?

주요 결과

• 확률 분포가 그래프에 충실한 것은 독립 모델이 조합적 그래프로드 공리, 단일 요소 전이성, 그리고 순서 기반 상향 및 하향 안정성 조건을 만족할 때와 정확히 동치이다.
• 이 조건들은 필수적이며 동시에 충분하므로, 혼합 그래프 전반에 걸쳐 충실성의 완전한 이론적 특성화를 제공한다.
• 가우시안 분포의 경우, 안정성 조건를 제외한 모든 조건이 자연스럽게 만족되며, 이는 그래픽 모델링에 적합함을 시사한다.
• 전역적 조건부 독립성 검사 대신 최소한의 노드 컷셋에 집중하여 충실성 테스트를 효율적으로 수행할 수 있다.
• 전순서와 안정성 강제 조건을 활용하여 충실성을 보장하는 새로운 제약 기반 구조 학습 알고리즘의 설계를 지원한다.
• 이 이론은 무방향, 이방향, 그리고 방향 순환 그래프(DAGs)에 널리 적용되며, 각 하위유형에 대해 특화된 결과가 제공된다.