[논문 리뷰] Causal Discovery from Incomplete Data: A Deep Learning Approach

Yuhao Wang, Vlado Menkovski외 3명|arXiv (Cornell University)|2020. 01. 15.

Bayesian Modeling and Causal Inference참고 문헌 32인용 수 17

한 줄 요약

이 논문은 GAN과 VAE를 사용하여 누락 데이터 보정과 인과적 구조 탐색을 반복적으로 수행하는 딥러닝 프레임워크인 Imputated Causal Learning (ICL)을 제안한다. ICL은 MCAR 및 MAR 누락 메커니즘 하에서 최신 기술보다 뛰어난 성능을 보이며, 합성 데이터와 실세계 데이터(예: AutoMPG, SHD=9)에서 낮은 구조적 히깅 거리(SHD)를 달성한다.

ABSTRACT

As systems are getting more autonomous with the development of artificial intelligence, it is important to discover the causal knowledge from observational sensory inputs. By encoding a series of cause-effect relations between events, causal networks can facilitate the prediction of effects from a given action and analyze their underlying data generation mechanism. However, missing data are ubiquitous in practical scenarios. Directly performing existing casual discovery algorithms on partially observed data may lead to the incorrect inference. To alleviate this issue, we proposed a deep learning framework, dubbed Imputated Causal Learning (ICL), to perform iterative missing data imputation and causal structure discovery. Through extensive simulations on both synthetic and real data, we show that ICL can outperform state-of-the-art methods under different missing data mechanisms.

연구 동기 및 목표

• 기본적인 인과 탐색 알고리즘의 성능을 저해하는 누락 데이터 존재 상황에서의 인과 탐색 과제를 해결하기 위해.
• 데이터 보정과 인과적 구조 추정을 별도의 단계로 다루는 대신 동시에 개선하는 통합 학습 프레임워크를 개발하기 위해.
• 실세계 관찰 데이터에서 흔히 발생하는 Missing Completely at at Random (MCAR) 및 Missing at Random (MAR) 메커니즘을 모두 처리하기 위해.
• 반복적 보정과 스켈레톤 학습 이후 인과 쌍의 비대칭성을 활용하여 인과 탐색 정확도를 향상시키기 위해.
• 불완전한 샘플을 제거하는 전략으로 인한 편향과 정보 손실을 줄이기 위해.

제안 방법

• ICL은 완전하지 않은 데이터의 공동 분포를 모델링하기 위해 변동형 자동차오디오(Variaitonal Autoencoders, VAEs)와 생성적 적대 기반 네트워크(Generative Adversarial Networks, GANs)를 융합한 딥 생성 모델을 사용한다.
• 프레임워크는 반복 최적화를 수행한다: 먼저 VAE-GAN을 사용해 누락된 값을 보정하고, 그 다음 다른 가중치를 가진 미분 가능한 인과 탐색 모듈을 통해 인과 스켈레톤을 정밀화한다.
• 인과 스켈레톤 학습은 변수 간의 전역적 종속 구조를 식별하며, 방향성이 없는 DAG로 표현된다.
• 그 후, 기능적 인과 모델(FCMs)에서의 비대칭성을 이용해 쌍별 인과 방향을 식별한다. 이는 원인과 결과가 서로 다른 통계적 특성을 지닌다는 사실을 활용한다.
• 반복 과정은 보정과 인과 구조 정밀화를 번갈아 수행하여 데이터 복구와 인과 추론 간 상호 개선을 가능하게 한다.
• 복합 손실 함수를 사용해 엔드 투 엔드로 프레임워크를 학습하며, 이는 복원 오차, 인과 구조 일관성, 인과 방향 정확도를 균형 있게 조절한다.

실험 결과

연구 질문

• RQ1 딥러닝 프레임워크가 누락 데이터 보정과 인과적 구조 탐색을 동시에 최적화하여 순차적 접근 방식보다 성능을 향상시킬 수 있는가?
• RQ2 반복적인 보정과 인과 탐색의 결합이 MCAR 및 MAR 누락 메커니즘 하에서 정확도에 어떤 영향을 미치는가?
• RQ3 누락된 데이터 상황에서 인과 쌍의 비대칭성을 활용하면 인과 방향 식별 성능이 향상되는가?
• RQ4 구조적 히깅 거리(SHD) 측면에서 ICL은 GAN-DAG, LD-DAG, GES 기반 알고리즘과 같은 최신 기술보다 어떻게 비교되는가?
• RQ5 데이터 삭제 또는 별도의 보정 및 탐색 전략은 완전하지 않은 데이터에서 인과 탐색 성능을 얼마나 떨어뜨리는가?

주요 결과

• ICL은 MCAR 및 MAR 메커니즘 하에서 10%, 30%, 50%의 누락 데이터를 가진 합성 데이터셋 전반에서 모든 기준 모델보다 유의미하게 낮은 구조적 히깅 거리(SHD)를 달성한다.
• 10% MAR 누락이 있는 AutoMPG 데이터셋에서 ICL은 SHD=9를 기록했으며, GAN-DAG가 보고한 SHD=11보다 뛰어난 성능을 보였다.
• 비반복적인 방식으로 보정 후 인과 탐색을 수행하는 GAN-DAG의 성능은 ICL보다 열 劣하다. 이는 반복적 정밀화가 핵심임을 시사한다.
• 삭제 기반 방법(예: 누락 값이 있는 샘플을 제거)은 편향된 모델을 초래하고, 특히 5%를 초과하는 누락 비율에서 성능이 떨어진다.
• MMPC 기반 방법은 비선형 데이터에서 잘 작동하지만, LiNGAM 기반 방법은 선형 데이터에서 더 효과적임을 보여주며, 이는 데이터 구조에 따라 방법 선택이 중요함을 시사한다.
• 결과적으로 별도의 보정과 인과 탐색(예: GAN-DAG)은 통합 학습보다 성능이 열 劣할 수 있으며, 이는 보정 오차가 인과 추론에 영향을 미친다는 것을 보여준다.