[논문 리뷰] Combining Linear Non-Gaussian Acyclic Model with Logistic Regression Model for Estimating Causal Structure from Mixed Continuous and Discrete Data

Chao Li, Shohei Shimizu|arXiv (Cornell University)|2018. 02. 16.

Bayesian Modeling and Causal Inference참고 문헌 10인용 수 3

한 줄 요약

이 논문은 연속 변수에 대해 선형 비정규 비순환 모델(LiNGAM)과 이산 변수에 대해 로지스틱 회귀를 조합한 하이브리드 인과 모델을 제안하며, 이산화 없이 혼합 데이터에서 전체 인과 구조를 식별할 수 있도록 한다. 이 방법은 모델 선택을 위해 BIC 점수 함수를 사용하며, 시뮬레이션에서 渐近적 일致성을 보이며, 기존의 이산화 기반 접근 방식(예: PC 알고리즘)을 능가한다.

ABSTRACT

Estimating causal models from observational data is a crucial task in data analysis. For continuous-valued data, Shimizu et al. have proposed a linear acyclic non-Gaussian model to understand the data generating process, and have shown that their model is identifiable when the number of data is sufficiently large. However, situations in which continuous and discrete variables coexist in the same problem are common in practice. Most existing causal discovery methods either ignore the discrete data and apply a continuous-valued algorithm or discretize all the continuous data and then apply a discrete Bayesian network approach. These methods possibly loss important information when we ignore discrete data or introduce the approximation error due to discretization. In this paper, we define a novel hybrid causal model which consists of both continuous and discrete variables. The model assumes: (1) the value of a continuous variable is a linear function of its parent variables plus a non-Gaussian noise, and (2) each discrete variable is a logistic variable whose distribution parameters depend on the values of its parent variables. In addition, we derive the BIC scoring function for model selection. The new discovery algorithm can learn causal structures from mixed continuous and discrete data without discretization. We empirically demonstrate the power of our method through thorough simulations.

연구 동기 및 목표

• 기존의 인과 발견 방법이 이산 변수를 무시하거나 연속 변수를 이산화함으로써 정보 손실 또는 근사 오류를 야기하는 한계를 해결하기 위해.
• 연속 및 이산 변수를 동시에 다룰 수 있는 통합 인과 모델을 개발하여 식별 가능한 구조적 가정을 적용하기 위해.
• 혼합 변수 설정에서의 모델 선택을 위한 BIC 점수 함수를 유도하여 일관된 인과 구조 학습을 가능하게 하기 위해.
• 최신 기술인 PC 알고리즘과 같은 이산화 기반 접근 방식과의 비교를 통해 방법의 성능를 실증적으로 검증하기 위해.

제안 방법

• 모델은 연속 변수가 추가 비정규성 잡음이 있는 선형 비순환 모델(LiNGAM)을 따른다고 가정한다.
• 이산 변수는 로지스틱 회귀를 사용하여 모델링되며, 결과의 로그 오즈는 부모 변수들에 대해 선형적으로 의존한다.
• 공통의 가능도는 DAG의 구조에 기반하여 인수화되며, 가우시안 및 로지스틱 조건부 밀도를 조합한다.
• 후보 DAG의 구조 평가를 위해 BIC 점수 함수를 유도하며, 모델 복잡도와 로그 가능도를 포함한다.
• 모든 가능한 DAG에 대해 BIC 점수를 최대화하는 데 사용할 수 있는 파이썬 기반의 검색 알고리즘을 구현한다.
• 이 방법은 자료의 이산화를 피함으로써 정보 손실을 방지하고 전체 인과 구조 식별이 가능하게 한다.

실험 결과

연구 질문

• RQ1 LiNGAM과 로지스틱 회귀를 조합한 하이브리드 인과 모델이 혼합 연속 및 이산 데이터에서 진짜 인과 구조를 식별할 수 있는가?
• RQ2 제안된 BIC 점수 함수가 표본 수가 증가함에 따라 진짜 DAG를 일관되게 복원할 수 있는가?
• RQ3 제안된 방법의 성능는 혼합 데이터에서 이산화 기반 접근 방식(예: PC 알고리즘)과 비교해 어떻게 되는가?
• RQ4 연속 변수의 수가 이산화 기반 방법의 성능에 얼마나 큰 영향을 미치는가?
• RQ5 스켈레톤이 알려져 있을 경우, 방법이 필요한 표본 수를 줄이며 높은 정확도를 달성할 수 있는가?

주요 결과

• 제안된 방법은 渐近적 일치성을 보이며, 표본 수가 증가함에 따라 진짜 인과 구조를 정확히 복원한다.
• 이산화 기반의 PC 알고리즘에 비해 상당히 뛰어난 성능을 보이며, 특히 연속 변수의 수가 많아질수록 이산화로 인한 정보 손실 감소로 인해 유의미한 성능 향상을 보인다.
• 스켈레톤이 알려져 있을 경우, 하이브리드 오라클 방법은 단지 100개의 표본으로도 전체 DAG의 80% 정확도로 복원할 수 있다.
• 이산화 기반의 PC 알고리즘 성능은 연속 변수가 많아질수록 떨어지며, 이는 이산화가 인과 발견에 부정적인 영향을 미친다는 것을 확인한다.
• BIC 점수 함수는 제안된 가정 하에서 고유한 모델 선택을 가능하게 하여 마르코프 동치 클래스를 피한다.
• 이 방법은 자료의 이산화 없이도 전체 인과 구조를 성공적으로 식별하며, 혼합 데이터 유형을 직접 모델링하는 데서 유리함을 입증한다.