[논문 리뷰] Learning Neural Causal Models from Unknown Interventions

Nan Rosemary Ke, Olexa Bilaniuk외 7명|arXiv (Cornell University)|2019. 10. 02.

Bayesian Modeling and Causal Inference참고 문헌 59인용 수 46

한 줄 요약

이 논문은 구조적 인과 모델을 관찰 데이터와 알려지지 않은 개입으로부터 학습하는 연속 최적화 방법 SDI를 소개합니다. 신경망과 REINFORCE 스타일 그래디언트를 사용하여 DAG 구조를 복구하고 보지 못한 개입에 일반화합니다.

ABSTRACT

Promising results have driven a recent surge of interest in continuous optimization methods for Bayesian network structure learning from observational data. However, there are theoretical limitations on the identifiability of underlying structures obtained from observational data alone. Interventional data provides much richer information about the underlying data-generating process. However, the extension and application of methods designed for observational data to include interventions is not straightforward and remains an open problem. In this paper we provide a general framework based on continuous optimization and neural networks to create models for the combination of observational and interventional data. The proposed method is even applicable in the challenging and realistic case that the identity of the intervened upon variable is unknown. We examine the proposed method in the setting of graph recovery both de novo and from a partially-known edge set. We establish strong benchmark results on several structure learning tasks, including structure recovery of both synthetic graphs as well as standard graphs from the Bayesian Network Repository.

연구 동기 및 목표

• 관찰 데이터 만으로 인과 그래프를 학습할 때의 식별 가능성 한계 해결.
• 관찰 데이터와 개입 데이터를 통합하는 프레임워크 개발, 개입 대상이 알려지지 않은 경우에도.
• 이산 변수 SCM 및 부분 지식 시나리오에 대한 확장 가능한 구조 학습 제공.
• Synthetic graphs 및 Bayesian Network Repository의 실세계 데이터에 대한 강력한 실증 벤치마크 제공.

제안 방법

• 그래프 구조를 완화된 인접 행렬 gamma로 매개화하고 Bernoulli(C) 엣지 구성으로 DAG를 샘플링합니다.
• 샘플링된 부모 집합에 조건부로 각 변수의 확률 모델 theta를 학습합니다.
• 1단계: 샘플링된 그래프 구성 하에서 관찰 데이터에 대해 우도 최대화를 통해 theta를 적합합니다.
• 2단계: 관찰 데이터에 기반해 그래프 구성을 점수 매기고 예측 저하를 관찰하여 개입 대상이 알려지지 않았을 때 이를 예측합니다.
• 3단계: interventional data rewards로부터 REINFORCE 유사 그래디언트를 사용하여 gamma를 업데이트해 엣지 신념을 다듬습니다.
• DAG-regularization term을 도입해 사이클을 억제하고 parsimonious한 그래프를 촉진하는 희소성 패널티를 적용합니다.

실험 결과

연구 질문

• RQ1 제안된 모델이 관찰 데이터와 알려지지 않은 개입의 혼합에서 실제 인과 그래프를 재현할 수 있는가?
• RQ2 SDI 방법이 실제 데이터셋에서 최첨단 인과 발견 방법과 어떻게 비교되는가?
• RQ3 모델이 보지 못한 개입 및 부분 그래프 복원 설정에 일반화하는가?
• RQ4 그래프 크기와 밀도에 따른 SDI의 확장성은 어느 정도인가?
• RQ5 알려진 대상과 미지의 대상 개입 설정에서의 대상 개입 예측과 부분 사전 엣지 정보 처리 성능은 어떤가?

주요 결과

• SDI는 합성 그래프와 실제 벤치마크에서 강력한 그래프 복원을 달성하며 SHD 메트릭스에서 여러 베이스라인보다 우수합니다.
• 일정 크기와 밀도까지 여러 합성 그래프에서 DAG를 완벽하게 복원할 수 있으며, 매우 크거나 밀도가 높은 그래프에서 다소 어려움이 발생합니다.
• SDI는 보지 못한 개입으로 일반화하여 개입 데이터에서의 로그 가능도가 비인과 모델보다 더 높게 유지됩니다.
• 부분 그래프 복원 설정에서 일부 엣지만 학습될 때도 SDI가 높은 정확도를 달성하고 수십 개의 변수로 구성된 그래프로 확장됩니다.
• SDI 내의 개입 대상 예측 휴리스틱은 알려진 대상과 미지의 대상 개입 설정 간의 성능 차이를 완화하는 데 도움을 줍니다.