[논문 리뷰] Identifiability Assumptions and Algorithm for Directed Graphical Models with Feedback

Gunwoong Park, Garvesh Raskutti|arXiv (Cornell University)|2016. 02. 14.

Bayesian Modeling and Causal Inference참고 문헌 22인용 수 4

한 줄 요약

이 논문은 방향성 순환 그래픽(DCG) 모델을 위한 두 가지 새로운 식별 가능성 가정—최대 d-분리 규칙(MDR)과 흐물한 마르코프 표현(SMR)—을 제안하며, 충성도 가정의 더 약한 대안을 제공한다. MDR 가정은 이론적으로 충성도보다 엄격히 더 약한 것으로 입증되었고, 시뮬레이션에서 더 신뢰할 수 있는 스켈레톤 복원을 가능하게 하여, 소규모 DCG 모델에서 충성도 기반 알고리즘을 능가한다.

ABSTRACT

Directed graphical models provide a useful framework for modeling causal or directional relationships for multivariate data. Prior work has largely focused on identifiability and search algorithms for directed acyclic graphical (DAG) models. In many applications, feedback naturally arises and directed graphical models that permit cycles occur. In this paper we address the issue of identifiability for general directed cyclic graphical (DCG) models satisfying the Markov assumption. In particular, in addition to the faithfulness assumption which has already been introduced for cyclic models, we introduce two new identifiability assumptions, one based on selecting the model with the fewest edges and the other based on selecting the DCG model that entails the maximum number of d-separation rules. We provide theoretical results comparing these assumptions which show that: (1) selecting models with the largest number of d-separation rules is strictly weaker than the faithfulness assumption; (2) unlike for DAG models, selecting models with the fewest edges does not necessarily result in a milder assumption than the faithfulness assumption. We also provide connections between our two new principles and minimality assumptions. We use our identifiability assumptions to develop search algorithms for small-scale DCG models. Our simulation study supports our theoretical results, showing that the algorithms based on our two new principles generally out-perform algorithms based on the faithfulness assumption in terms of selecting the true skeleton for DCG models.

연구 동기 및 목표

• 피드백 루프를 포함한 시스템에서 흔한 방향성 순환 그래픽(DCG) 모델에서의 모델 식별 문제에 대응한다.
• 실제로 제한된 데이터에서 자주 만족되지 않는, 너무 제한적인 조건을 요구하는 충성도 가정의 한계를 극복한다.
• DCG 모델의 복원을 보장하면서도 더 온건하고 이론적으로 탄탄한 식별 가능성 가정을 개발한다.
• 새로운 가정에 기반한 검색 알고리즘을 설계하고 최신 기법들과의 성능을 평가한다.
• 시뮬레이션을 통해 제안된 알고리즘이 충성도 기반 접근보다 진짜 그래프 스켈레톤을 더 신뢰성 있게 복원함을 입증한다.

제안 방법

• DAG에서 유래한 흐물한 마르코프 표현(SMR)과 절약성 가정을 DCG에 적용하여, 새로운 식별 가능성 기준으로 제안한다.
• 최대 d-분리 규칙(MDR) 가정을 도입하며, 이는 가장 많은 수의 d-분리 규칙을 함의하는 DCG 모델을 선택한다.
• 이론적 분석을 통해 MDR, SMR, 충성도, 최소성 가정을 비교하며, MDR 가정이 충성도보다 엄격히 더 약하지만 P-최소성보다 더 강하다는 것을 보여준다.
• MDR 및 SMR 가정을 사용하여 DCG의 마르코프 동치 클래스를 완전 탐색을 통해 복원하는 데 사용되는 검색 알고리즘(알고리즘 1)을 개발한다.
• 조건부 인코herent를 추정하기 위해 Fisher의 조건부 상관계수 검정을 사용하며, 유의수준 α = 0.001을 적용하여 스켈레톤 복원의 기초를 마련한다.
• 다양한 표본 크기(n ∈ {100, 200, 500, 1000})와 평균 이웃 수(1에서 4까지)를 가진 합성 데이터를 사용하여 소규모 DCG에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 DCG 모델에서 최대 d-분리 규칙(MDR) 가정은 충성도 가정보다 엄격히 더 약한가?
• RQ2 SMR 및 MDR 가정은 DCG에서 충성도 및 최소성 가정과 비교해 강도가 어떻게 다른가?
• RQ3 MDR 및 SMR 가정 기반 알고리즘이 진짜 DCG 스켈레톤을 충성도 기반 알고리즘보다 더 신뢰성 있게 복원할 수 있는가?
• RQ4 MDR 및 SMR 기반 알고리즘의 실증적 성능은 FCI+ 및 GES와 같은 최신 기법들과 비교해 소규모 DCG에서 어떻게 되는가?
• RQ5 표본 크기와 그래프 조밀도에 따라 각 식별 가능성 가정(CFC, MDR, SMR, P-최소성)을 만족하는 DCG 모델의 비율은 어떻게 변하는가?

주요 결과

• MDR 가정은 충성도 가정보다 엄격히 더 약하며, 이는 더 광범위한 DCG 모델 클래스에 적용 가능함을 의미한다.
• SMR 가정은 P-최소성 가정보다 더 강하지만 충성도 가정보다는 더 약하며, 식별하는 모델의 집합에서 이 순서가 유지된다.
• 시뮬레이션 결과, MDR 및 SMR 기반 알고리즘이 모든 표본 크기와 이웃 수에서 FCI+ 알고리즘보다 스켈레톤 복원 정확도에서 뛰어나다.
• 조밀한 그래프에서는 GES 알고리즘이 조밀한 구조를 선호하기 때문에 다른 알고리즘보다 성능이 뛰어나지만, 순환 구조를 정확히 복원하지 못한다.
• MDR 가정을 만족하는 모델의 비율은 충성도를 만족하는 비율보다 높고, P-최소성보다는 낮으며, 이는 이론적 가정 강도 순서를 확인한다.
• 표본 크기가 증가함에 따라 조건부 인코herent 테스트 오류가 감소함에 따라 각 가정을 만족하는 모델의 비율도 증가한다.