[논문 리뷰] Integer Programming for Causal Structure Learning in the Presence of Latent Variables

Rui Chen, Sanjeeb Dash외 1명|arXiv (Cornell University)|2021. 02. 05.

Bayesian Modeling and Causal Inference참고 문헌 35인용 수 5

한 줄 요약

이 논문은 연속형 가우시안 데이터에서 잠재 변수가 있는 원인적 비순환 방향 혼합 그래프(ADMG)를 학습하기 위한 최초의 정확한 점수 기반 정수계획법(IP) 방법을 제안한다. DAG IP 설정을 일반화하고 새로운 유형의 타당한 부등식을 도입함으로써, 최적의 ADMG 구조 학습을 보장하며, 특히 잠재 혼란 요인을 포함한 중간 크기 문제에서 최신의 점수 기반 및 제약 기반 방법들을 초월하는 정확도를 보인다.

ABSTRACT

The problem of finding an ancestral acyclic directed mixed graph (ADMG) that represents the causal relationships between a set of variables is an important area of research on causal inference. Most existing score-based structure learning methods focus on learning directed acyclic graph (DAG) models without latent variables. A number of score-based methods have recently been proposed for the ADMG learning, yet they are heuristic in nature and do not guarantee an optimal solution. We propose a novel exact score-based method that solves an integer programming (IP) formulation and returns a score-maximizing ancestral ADMG for a set of continuous variables that follow a multivariate Gaussian distribution. We generalize the state-of-the-art IP model for DAG learning problems and derive new classes of valid inequalities to formulate an IP model for ADMG learning. Empirically, our model can be solved efficiently for medium-sized problems and achieves better accuracy than state-of-the-art score-based methods as well as benchmark constraint-based methods.

연구 동기 및 목표

• 잠재 변수 존재 시 원인적 구조 학습을 위한 정확한 점수 기반 방법의 부족을 해결하기 위해.
• DAG의 정수계획법 설정을 원인적 ADMG로 확장하여, 잠재 혼란 상황에서도 구조적 타당성을 보장하기 위해.
• 혼합 그래프에서 원인적 및 비순환 조건을 강제하기 위한 새로운 유형의 타당한 부등식을 도출하기 위해.
• 기존의 점수 기반 및 제약 기반 기준과의 비교를 통해 방법의 성능을 실증적으로 평가하기 위해.
• ADMG 학습에서 히우리스틱 또는 局부 탐색 접근 방식에 비해 정확한 최적화가 유의미한 우수성을 보이는지 입증하기 위해.

제안 방법

• 지향 및 이중 방향 간선을 나타내는 이진 변수를 사용하여 원인적 ADMG 학습 문제를 혼합정수계획형(MIP)으로 공식화한다.
• 원인적 및 비순환 조건을 강제하기 위해 새로운 타당한 부등식을 도입하여, 해가 타당한 ADMG임을 보장한다.
• 잠재 혼란을 모델링하기 위해 c-성분과 지구역 구조를 통합함으로써 기존의 DAG IP 모델을 일반화한다.
• 다변량 정규 분포 가정 하에 그래프 구조의 점수를 계산하기 위해 조건부 선형 가우시안 분포를 사용한다.
• 신규 타당한 부등식에서 유도된 컷을 활용하여 브랜치 앤 컷 기법을 적용해 MIP를 효율적으로 해결한다.
• 각 노드의 부모 수가 최대 하나인 3노드 지구역에서 유도되는 암시적 c-성분을 고려하여 설정을 확장함으로써 해의 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 잠재 변수가 있는 원인적 ADMG를 학습하기 위한 정확한 정수계획법 접근 방식을 개발할 수 있는가?
• RQ2 계산의 타당성과 균형을 유지하면서도, 해가 타당한 ADMG임을 보장하기 위해 타당한 부등식을 어떻게 유도할 수 있는가?
• RQ3 제안된 IP 기반 방법이 기존의 점수 기반 및 제약 기반 방법보다 ADMG 학습에서 더 높은 정확도를 달성하는가?
• RQ4 잠재 변수와 관측 변수의 수가 증가함에 따라 이 방법의 성능은 어떻게 변화하는가?
• RQ5 진짜 그래프가 어떤 DAG와도 마르코프 동치가 아닐 경우, ADMG 모델이 DAG 기반 방법에 비해 유의미한 이점을 제공하는가?

주요 결과

• 제안된 AGIP 방법은 모든 테스트 환경에서 최고의 구조적 해밍 거리(SHD), 정밀도, 재현율을 달성하여, FCI, cFCI, M3HC 및 AGIP를 평균적으로 초월한다.
• 평균적으로 AGIP는 15.1의 SHD, 49.6%의 정밀도, 47.2%의 재현율을 기록하며, DAGIP 및 기타 기준보다 뚜렷이 뛰어난 성능을 보였다.
• DAG로 표현할 수 없는 그래프 50개의 경우 28개에서 AGIP가 DAGIP를 능가하여, 직접적으로 잠재 혼란 요인을 모델링하는 데서 오는 이점이 있음을 입증했다.
• 잠재 변수의 수가 증가함에 따라 성능은 저하되지만, AGIP는 특히 고잠재 변수 설정에서 가장 강력한 성능을 유지한다.
• 진짜 그래프가 DAG로 표현 불가능한 경우에도, AGIP는 최적성 유지와 함께 히우리스틱 점수 기반 방법보다 더 높은 점수, 정밀도, 재현율을 확보했다.
• 추가적인 c-성분(예: 최대 한 개의 부모를 가진 3노드 지구역에서 유도된 것)의 포함은 해의 품질을 향상시켜, 기본 성분을 넘어서 잠재 구조를 모델링하는 것이 중요하다는 점을 강조한다.