[논문 리뷰] Ordering-Based Causal Structure Learning in the Presence of Latent Variables

Daniel Irving Bernstein, Basil Saeed외 2명|arXiv (Cornell University)|2019. 10. 20.

Bayesian Modeling and Causal Inference참고 문헌 25인용 수 10

한 줄 요약

이 논문은 잠재적 혼란인자( latent confounders)가 있는 방향 혼합 비순환 그래프(DMAGs)를 위한 하이브리드 인과적 구조 학습 알고리즘인 GSPo를 제안한다. 부분순서(posets)에 대한 탐욕적 탐색을 통해 가장 흐린 Markov 등가 그래프를 식별한다. 이는 더 약한 가정 하에 충실성(faithfulness)보다 더 약한 조건에서도 가장 흐린 독립성 지도(IMAP)가 진짜 모델과 Markov 등가임을 증명하며, 구조적 해밍 거리(structural Hamming distance)와 ROC 성능에서 FCI 및 FCI+보다 우수한 성능을 보인다. 특히 중간 수준의 거짓 양성률(false positive) 조건에서 뛰어나다.

ABSTRACT

We consider the task of learning a causal graph in the presence of latent confounders given i.i.d.~samples from the model. While current algorithms for causal structure discovery in the presence of latent confounders are constraint-based, we here propose a score-based approach. We prove that under assumptions weaker than faithfulness, any sparsest independence map (IMAP) of the distribution belongs to the Markov equivalence class of the true model. This motivates the \emph{Sparsest Poset} formulation - that posets can be mapped to minimal IMAPs of the true model such that the sparsest of these IMAPs is Markov equivalent to the true model. Motivated by this result, we propose a greedy algorithm over the space of posets for causal structure discovery in the presence of latent confounders and compare its performance to the current state-of-the-art algorithms FCI and FCI+ on synthetic data.

연구 동기 및 목표

• 잠재적 혼란인자가 존재하는 상황에서 FCI 및 FCI+와 같은 제약 기반 방법의 한계를 해결하기 위해, 제한적인 충실성 가정에 의존하는 것을 방지하고자 한다.
• 오차 전파에 대한 강건성을 향상시키기 위해 점수 기반과 조건부 독립 테스트를 융합한 하이브리드 접근법을 개발하고자 한다.
• 인과적 구조 학습 문제를 부분순서(posets) 위의 이산 최적화 문제로 재정의하여, 더 강건한 흐린 Markov 등가 그래프 탐색을 가능하게 하고자 한다.
• 충실성보다 더 약한 가정 하에 가장 흐린 최소 IMAP가 진짜 DMAG과 Markov 등가임을 입증함으로써, 신뢰할 수 있는 구조 복원이 가능함을 보여주고자 한다.

제안 방법

• 논문은 관측 변수의 각 부분순서(poset)를 최소 독립성 지도(IMAP)로 매핑하는 방법을 제안하며, 이로 인해 생성된 분포가 결과 그래프에 대해 Markov 성질을 만족하도록 보장한다.
• 충실성보다 더 약한 가정 하에 가장 흐린 그러한 IMAP가 진짜 DMAG과 Markov 등가임을 증명하며, 이는 가장 흐린 IMAP 탐색의 타당성을 뒷받침한다.
• GSPo 알고리즘은 Zhang & Spirtes(2012)의 합법적 마킹 변경(legitimate mark changes)을 사용하여 부분순서 공간에서 탐욕적 탐색을 수행하며, 다양한 부분순서에 대응하는 IMAP를 탐색하고 최적화한다.
• 알고리즘은 각 IMAP의 흐릿함을 평가하기 위해 점수 기준을 사용하고, 후보 그래프의 Markov 성질을 확인하기 위해 조건부 독립 테스트를 활용한다.
• 초기화 전략을 평가한 결과, MD 알고리즘과 GSP 초기화가 뛰어난 성능을 보였으며, 빈 부분순서는 더 두꺼운 그래프를 유도하였다.
• 알고리즘은 합성 데이터 기반으로 FCI 및 FCI+와 비교 구현되었으며, 각 표본 크기에 맞춰 초모수를 조정하여 구조적 해밍 거리(structural Hamming distance)를 최소화하였다.

실험 결과

연구 질문

• RQ1 충실성보다 더 약한 가정 하에 부분순서(posets)에 대한 탐욕적 탐색이 가장 흐린 IMAP를 식별할 수 있으며, 이는 진짜 DMAG과 Markov 등가인가?
• RQ2 다양한 표본 크기와 거짓 양성률 하에서 제안된 GSPo 알고리즘의 성능은 구조적 해밍 거리(structural Hamming distance)와 ROC 면적에서 FCI 및 FCI+와 비교해 어떻게 되는가?
• RQ3 점수 기반과 조건부 독립 테스트를 융합한 하이브리드 접근법은 순수 제약 기반 방법보다 오차 전파에 대해 더 강건한가?
• RQ4 poset 기반 공식화는 FCI 가족 알고리즘보다 잠재적 혼란인자가 존재하는 상황에서 더 효율적 또는 정확한 인과적 발견을 가능하게 하는가?

주요 결과

• GSPo는 모든 표본 크기에서 FCI 및 FCI+보다 구조적 해밍 거리(SHD)에서 일관되게 뛰어나며, 최고 성능을 보인 변종은 평균 SHD가 유의미하게 낮게 나타났다.
• 중간 수준의 거짓 양성률 영역에서 GSPo는 FCI 및 FCI+를 능가하여, 제약 기반 방법의 성능 저하를 초래하는 근접 충실성 위반에 강건함을 보였다.
• GSPo의 ROC 곡선 아래 면적은 다양한 표본 크기에서 FCI 및 FCI+와 유사하거나 뛰어나며, 특히 거짓 양성률이 매우 낮지 않은 경우에서 두각을 나타냈다.
• MD 알고리즘으로 초기화하면 GSP 초기화와 유사한 성능을 보였으며, 둘 다 빈 부분순서보다 권장되며, 빈 부분순서는 더 두꺼운, 정확도가 낮은 그래프를 유도한다.
• GSP 초기화를 사용한 GSPo는 작은 그래프에서는 FCI 및 FCI+보다 빠르지만, 더 큰 그래프에서는 FCI+보다 더 나쁜 스케일링 성능를 보이며, 동적 연결성 또는 개선된 IMAP 구성 기법을 통해 최적화 가능성이 있음을 시사한다.
• 알고리즘의 성능은 다양한 초기화 방법에 대해 강건하며, 가장 흐린 IMAP가 더 약한 가정 하에 진짜 그래프와 Markov 등가임이라는 핵심 통찰은 실증적으로 검증되었다.