[논문 리뷰] Bayesian network structure learning with causal effects in the presence of latent variables

Kiattikun Chobtham, Anthony C. Constantinou|arXiv (Cornell University)|2020. 05. 29.

Bayesian Modeling and Causal Inference참고 문헌 15인용 수 7

한 줄 요약

이 논문은 원인 부족성 하에서 원인적 그래프의 간선 방향을 결정하기 위해 제약 기반(cFCI) 및 점수 기반(BIC 최적화 히어리틱스 클라이밍) 방법을 통합하고 펄의 do-계산법을 적용한 하이브리드 베이지안 네트워크 구조 학습 알고리즘인 CCHM을 제안한다. 이는 합성 및 실제 가우시안 베이지안 네트워크에서 최신 기술들을 능가하는 진짜 원인적 그래프 재구성 정확도를 향상시킨다.

ABSTRACT

Latent variables may lead to spurious relationships that can be misinterpreted as causal relationships. In Bayesian Networks (BNs), this challenge is known as learning under causal insufficiency. Structure learning algorithms that assume causal insufficiency tend to reconstruct the ancestral graph of a BN, where bi-directed edges represent confounding and directed edges represent direct or ancestral relationships. This paper describes a hybrid structure learning algorithm, called CCHM, which combines the constraint-based part of cFCI with hill-climbing score-based learning. The score-based process incorporates Pearl s do-calculus to measure causal effects and orientate edges that would otherwise remain undirected, under the assumption the BN is a linear Structure Equation Model where data follow a multivariate Gaussian distribution. Experiments based on both randomised and well-known networks show that CCHM improves the state-of-the-art in terms of reconstructing the true ancestral graph.

연구 동기 및 목표

• 관측되지 않은 혼란 변수로 인해 유사한 의존성이 발생하는 원인 부족성 문제를 해결하기 위해.
• 잠재 변수 조건 하에서 원인적 그래프 재구성 정확도를 향상시키기 위해 제약 기반 및 점수 기반 학습을 통합한 하이브리드 알고리즘을 개발하기 위해.
• 기존 제약 기반 방법에서 방향이 결정되지 않은 간선을 정렬하기 위해 펄의 do-계산법을 구조 학습에 통합하기 위해.
• 다양한 수준의 잠재 변수 영향을 고려하여 무작위 및 실제 가우시안 베이지안 네트워크에서 알고리즘 성능을 평가하기 위해.

제안 방법

• 알고리즘은 cFCI 제약 기반 방법을 사용하여 스켈레톤을 구성하고, v-구조 및 이중 방향 간선(혼란을 나타냄)을 식별한다.
• 히어리틱스 클라이밍 점수 기반 탐색을 통해 베이지안 정보 기준(BIC)을 최소화하여 네트워크 구조를 최적화한다.
• 펄의 do-계산법을 적용하여 간섭 분포를 계산하고 원인 효과를 추정함으로써, 기존에 방향이 결정되지 않은 간선의 방향을 정할 수 있다.
• 다변량 정규분포 데이터를 가진 선형 구조 방정식 모델(SEM)을 가정한다.
• 잠재 혼란 변수가 존재할 경우 특히 모호성이 발생하는 원인적 그래프 내에서, do-계산법 효과를 이용해 간선 방향을 정밀하게 조정한다.
• 다양한 네트워크 유형에서 표준 평가 지표인 구조 히딩 거리(SHD), 정밀도, 재현율, BSF를 사용해 알고리즘을 평가한다.

실험 결과

연구 질문

• RQ1 제약 기반 및 점수 기반 방법을 통합한 하이브리드 구조 학습 알고리즘이 원인 부족성 하에서 원인적 그래프 재구성에 효과적인가?
• RQ2 관측 데이터만으로는 방향을 결정할 수 없는 원인적 그래프에서 펄의 do-계산법을 얼마나 효과적으로 간선 방향 결정에 활용할 수 있는가?
• RQ3 do-계산법을 통한 원인 효과 추정을 통합할 경우, 잠재 변수가 존재할 때 순수 제약 기반 또는 점수 기반 접근법보다 성능이 향상되는가?
• RQ4 유의수준(alpha)과 같은 초모수 설정에 대해 결과는 얼마나 민감한가?

주요 결과

• CCHM은 테스트한 네 가지 실제 가우시안 베이지안 네트워크 중 두 곳에서 가장 낮은 구조 히딩 거리(SHD)를 기록하여 뛰어난 재구성 정확도를 보였다.
• 실제 네트워크에서 CCHM은 모든 사례 연구에서 상위 세 개 이내로 일관되게 순위를 유지했으며, 특히 alpha = 0.01일 때 뛰어난 성능을 보였다.
• 알고리즘이 초모수 변화에 대해 뛰어난 내성성을 보였으며, cFCI 및 GSPo와 달리 alpha에 매우 민감하지 않았다.
• 잠재 변수 비율이 증가함에 따라 CCHM은 SHD가 약간 증가하는 정도에 그쳐, 혼란에 대한 강건성을 보였다.
• do-계산법을 점수 기반 학습에 통합함으로써 제약 기반 방법만으로는 달성할 수 없는 간선 방향 정확도 향상이 가능함을 입증했다.
• 특히 복잡하고 고차원적인 환경에서 CCHM은 GFCI, M3HC, GSPo와 같은 최신 기술들을 합성 및 실제 실험 모두에서 능가했다.