[논문 리뷰] Causal Discovery from Incomplete Data using An Encoder and Reinforcement Learning

Xiaoshui Huang, Fujin Zhu외 2명|arXiv (Cornell University)|2020. 06. 09.

Bayesian Modeling and Causal Inference참고 문헌 24인용 수 4

한 줄 요약

이 논문은 완전하지 않은 데이터로부터 강건한 특징 표현을 추출하는 딥 인코더를 통합한 강화학습(RL) 기반 원인 발견 방법을 제안한다. 이는 결측치가 존재하는 상황에서도 엔드 투 엔드 학습을 가능하게 하여 원인 구조를 학습할 수 있도록 한다. 이 방법은 직접적인 보간-조합 방법보다 우수하며, 비선형 모델에서 결측치가 존재할 경우 최대 43.2% 향상된 TPR 성능을 기록한다.

ABSTRACT

Discovering causal structure among a set of variables is a fundamental problem in many domains. However, state-of-the-art methods seldom consider the possibility that the observational data has missing values (incomplete data), which is ubiquitous in many real-world situations. The missing value will significantly impair the performance and even make the causal discovery algorithms fail. In this paper, we propose an approach to discover causal structures from incomplete data by using a novel encoder and reinforcement learning (RL). The encoder is designed for missing data imputation as well as feature extraction. In particular, it learns to encode the currently available information (with missing values) into a robust feature representation which is then used to determine where to search the best graph. The encoder is integrated into a RL framework that can be optimized using the actor-critic algorithm. Our method takes the incomplete observational data as input and generates a causal structure graph. Experimental results on synthetic and real data demonstrate that our method can robustly generate causal structures from incomplete data. Compared with the direct combination of data imputation and causal discovery methods, our method performs generally better and can even obtain a performance gain as much as 43.2%.

연구 동기 및 목표

• 관측 데이터에서 결측치가 존재하는 상황에서의 원인 발견 과제를 해결하기 위해, 기존 방법의 성능 저하 문제를 해결하고자 한다.
• 데이터 보간과 원인 구조 학습을 별도의 단계로 다루지 않고 통합된 프레임워크를 개발함으로써 이들을 함께 처리하고자 한다.
• 결측치가 존재하는 데이터에서 인간과 유사한 추론 방식을 구현하기 위해, 가용한 비결측치 값들로부터 강건한 특징 표현을 학습하고자 한다.
• 완전하지 않은 데이터에서 강화학습을 사용해 원인 그래프 발견을 엔드 투 엔드로 최적화할 수 있도록 하기 위해 노력한다.
• 비선형 및 실세계 데이터셋에서 결측치가 존재하는 상황에서도 원인 발견의 강건성과 정확성을 향상시키고자 한다.

제안 방법

• 결측치가 존재하는 관측 데이터로부터 가용한 비결측치 값을 중심으로 초점을 맞춰 강건한 특징 표현을 추출할 수 있도록 맞춤형 신경망 인코더를 설계하였다.
• 인코더의 출력은 연속 공간에서 최적의 DAG를 탐색하는 데 사용되는 강화학습 에이전트의 입력으로 활용된다.
• RL 에이전트는 그래프 점수 함수에서 유도된 보상 기반으로 정책을 최적화하기 위해 액터-크리틱 알고리즘을 사용한다.
• 전체 시스템은 엔코더와 RL 정책을 함께 최적화하여 원인 구조 학습을 위한 엔드 투 엔드로 훈련된다.
• 단일 가분 프레임워크 내에서 데이터 보간과 특징 추출을 통합하여 별도의 보간 단계를 회피한다.
• RL 프레임워크 내에서 BIC 및 가능도 기반 기준과 같은 점수 함수를 사용해 방법을 평가한다.

실험 결과

연구 질문

• RQ1 딥 인코더는 완전하지 않은 관측 데이터로부터 원인 발견을 위해 의미 있는 표현을 효과적으로 추출할 수 있는가?
• RQ2 통합된 RL 프레임워크 내에서 데이터 보간과 원인 구조 학습을 통합하면 순차적 보간과 발견 방식보다 성능이 향상되는가?
• RQ3 데이터에 최대 20%의 결측치가 존재할 경우, 제안된 방법이 진정한 원인 구조를 얼마나 잘 복원하는가?
• RQ4 비선형 모델에서 결측치가 존재하는 상황에서 최신 기술 대비 이 방법이 성능을 뛰어넘을 수 있는가?
• RQ5 학습된 인코더를 갖춘 엔드 투 엔드 RL 프레임워크는 실세계 생물학적 데이터셋에서 결측치가 존재하는 경우에도 잘 일반화되는가?

주요 결과

• 20% 결측치가 존재하는 비선형 시뮬레이션 데이터에서, 이 방법은 GAIN+NOTEARS 대비 TPR이 31% 높고 SHD가 6점 낮은 성능을 기록했다.
• 결측치가 존재하는 비선형 가우시안 프로세스 모델에서, 이 방법은 GAIN+RL+BIC2 대비 TPR에서 43.2% 향상되고 SHD가 19점 감소한 성능을 기록했다.
• 실세계 T-세포 신호전달 데이터에서 GAIN+NOTEARS와 GAIN+RL+BIC2를 모두 초월하여, SHD는 13, TPR은 41.1%를 기록했다. 다음으로 우수한 방법은 SHD 18, TPR 11.8%를 기록했다.
• 실제 데이터에서 낮은 FDR과 높은 TPR은 이 방법이 거짓 긍정을 효과적으로 줄이고 진정한 간선을 잘 복원함을 시사한다.
• 결과적으로 엔코딩과 RL의 엔드 투 엔드 통합이 별도의 보간 후 구조 학습 방식보다 현저히 더 나은 원인 발견 성능을 제공한다는 것이 입증되었다.
• 이 방법은 결측치가 존재하는 시뮬레이션 및 실세계 데이터셋 모두에서 강건한 성능을 유지하며, 강력한 일반화 능력을 보여준다.