[논문 리뷰] Characterizing Distribution Equivalence and Structure Learning for Cyclic and Acyclic Directed Graphs

AmirEmad Ghassami, Alan Yang외 2명|arXiv (Cornell University)|2019. 10. 28.

Bayesian Modeling and Causal Inference인용 수 4

한 줄 요약

이 논문은 선형 가우시안 방향 그래픽 모델(사이클이 있는지 여부에 관계없이)에 대한 분포 등가성의 통합적 개념을 제안한다. 두 구조가 동일한 데이터 분포 집합을 생성하는 경우 등가로 정의한다. Givens 회전을 사용한 대수적 및 그래픽적 방법을 제안하여 등가성을 특성화하고, 관측 식별성에 대한 더 약한 개념인 준등가성(Quasi-equivalence)을 도입하며, 기존 방법에 비해 사이클이 있는 구조와 없는 구조를 모두 성공적으로 학습할 수 있는 점수 기반 국소 탐색 알고리즘을 설계한다. 이는 등가 구조의 복원률을 기존 표준 방법에 비해 크게 향상시킨다.

ABSTRACT

The main approach to defining equivalence among acyclic directed causal graphical models is based on the conditional independence relationships in the distributions that the causal models can generate, in terms of the Markov equivalence. However, it is known that when cycles are allowed in the causal structure, conditional independence may not be a suitable notion for equivalence of two structures, as it does not reflect all the information in the distribution that is useful for identification of the underlying structure. In this paper, we present a general, unified notion of equivalence for linear Gaussian causal directed graphical models, whether they are cyclic or acyclic. In our proposed definition of equivalence, two structures are equivalent if they can generate the same set of data distributions. We also propose a weaker notion of equivalence called quasi-equivalence, which we show is the extent of identifiability from observational data. We propose analytic as well as graphical methods for characterizing the equivalence of two structures. Additionally, we propose a score-based method for learning the structure from observational data, which successfully deals with both acyclic and cyclic structures.

연구 동기 및 목표

• 선형 가우시안 설정에서 사이클이 있는 방향 그래픽 모델에 대한 일반적인 등가성 특성화의 부재를 해결하기 위해.
• 분포 기반 기준 아래에서 비순환 및 순환 구조에 대한 등가성 정의를 통합하기 위해.
• 관측 데이터로부터 식별 가능한 범위를 특정하기 위한 더 약한 준등가성 개념을 사용하여 식별 가능성의 정도를 파악하기 위해.
• 기존 DAG 중심 방법의 한계를 극복하고 사이클이 있는 구조를 학습할 수 있는 점수 기반 국소 탐색 알고리즘을 설계하기 위해.

제안 방법

• 분포 등가성 정의를 제안: 두 구조가 동일한 데이터 분포 집합을 생성하는 경우 등가로 간주한다.
• Givens 회전을 핵심 대수적 도구로 사용하여 방향 그래프 간의 등가성을 특성화하며, 이는 순환 및 비순환 케이스 모두에 적용 가능하다.
• Givens 변환 하에서의 구조적 불변량 기반 등가성의 그래픽적 특성화를 개발한다.
• 관측 데이터로부터의 최대 식별 가능성을 포괄하는 더 약한 등가성 개념인 준등가성(Quasi-equivalence)을 도입한다.
• 삼각형을 수정하는 새로운 탐색 연산자를 가진 점수 기반 국소 탐색 알고리즘을 설계하여 등가 구조로의 수렴을 향상시킨다.
• 최대 강한 연결 부분그래프(MSCSs)에 대한 결합 분포의 인수분해를 적용하여, 구조 탐색 중 효율적인 점수 갱신을 가능하게 한다.

실험 결과

연구 질문

• RQ1 선형 가우시안 방향 그래픽 모델에 대해 사이클이 있는지 여부에 관계없이 통합된 등가성 개념을 정의할 수 있는가?
• RQ2 관측 데이터로부터 사이클이 있는 구조와 비순환 구조는 어느 정도까지 구분 가능하며, 식별 가능한 한계는 무엇인가?
• RQ3 구조 학습 알고리즘은 어떻게 수정되어 사이클이 있는 구조와 비순환 구조의 공간을 효과적으로 탐색할 수 있는가?
• RQ4 사이클이 존재하는 상황에서 점수 기반 국소 탐색 방법을 설계하여 渐近적 식별성을 달성할 수 있는가?

주요 결과

• 새로운 탐색 연산자를 가진 알고리즘은 5변수 사이클 예제에서 89%의 시도에서 등가 구조를 복원했으며, 표준 탭ู 검색은 0%에 그쳤다.
• 두 번째 실험에서 개선된 알고리즘은 83%의 등가 구조 복원률을 기록했으며, 기준 방법의 45%에 비해 뚜렷이 뛰어났다.
• 점수 기반 방법은 준등가성으로 정의된 식별 가능성의 범위에 渐近적으로 도달함으로써 이론적 타당성을 확인했다.
• Givens 회전의 사용은 기존 비순환 모델의 전통적 마르코프 등가성보다 더 포괄적이고 일반적인 등가성 특성화를 가능하게 하였다.
• 최대 강한 연결 부분그래프(MSCSs)를 기반으로 한 가능도 인수분해를 통해 국소적 점수 갱신이 가능해져 계산 효율성을 유지하였다.
• 표본 크기가 증가할수록 성능이 향상되었으며, $ε_0$-정규화된 국소 탐색에서 $n$이 $10^3$에서 $10^5$로 증가함에 따라 뚜렷한 성능 향상이 관찰되었다.