[논문 리뷰] Differentiable Causal Discovery from Interventional Data

Philippe Brouillard, Sébastien Lachapelle외 3명|arXiv (Cornell University)|2020. 07. 03.

Bayesian Modeling and Causal Inference참고 문헌 39인용 수 17

한 줄 요약

이 논문은 다양한 간섭 데이터—완벽한 간섭, 불완전한 간섭, 목표가 불확실한 간섭을 포함—를 활용하여 신경망과 노멀라이징 플로우를 사용하는 연속적이고 미분 가능한 최적화 프레임워크인 간섭을 고려한 미분 가능한 인과 발견(DCDI)을 제안한다. 이 방법은 정규성 조건 하에서 간섭적 마르코프 동치류를 증명 가능하게 식별하며, 비선형 기능 형태와 간섭 유형이 다양한 설정에서 최신 기술을 초월한다.

ABSTRACT

Learning a causal directed acyclic graph from data is a challenging task that involves solving a combinatorial problem for which the solution is not always identifiable. A new line of work reformulates this problem as a continuous constrained optimization one, which is solved via the augmented Lagrangian method. However, most methods based on this idea do not make use of interventional data, which can significantly alleviate identifiability issues. This work constitutes a new step in this direction by proposing a theoretically-grounded method based on neural networks that can leverage interventional data. We illustrate the flexibility of the continuous-constrained framework by taking advantage of expressive neural architectures such as normalizing flows. We show that our approach compares favorably to the state of the art in a variety of settings, including perfect and imperfect interventions for which the targeted nodes may even be unknown.

연구 동기 및 목표

• 관측 데이터에서의 식별 가능성 제한 상황에서 인과 구조 학습 문제를 해결하기 위해.
• 간섭 대상이 알려지지 않았거나 간섭이 불완전한 경우를 포함하여 간섭 데이터를 통합함으로써 식별성을 향상시키기 위해.
• 조합 최적화를 피하고 엔드 투 엔드 학습을 가능하게 하는 이론적으로 탄탄한, 미분 가능한 최적화 프레임워크를 개발하기 위해.
• 강한 파rametric 가정 없이도 복잡한 비선형 인과 메커니즘을 모델링할 수 있는 표현력 있는 밀도 추정기(예: 노멀라이징 플로우)를 활용하기 위해.
• 비선형 및 비정규 설정을 포함한 다양한 간섭 유형과 기능 형태에서 견고한 성능을 보여주기 위해.

제안 방법

• 증강 라그랑주 방법을 사용하여 인과 발견을 연속적이고 제약 조건이 있는 최적화 문제로 공식화함으로써, 미분 가능한 학습이 가능하도록 한다.
• 관측 데이터와 간섭 데이터를 모두 포함하는 미분 가능한 스코어 함수를 도입하며, 비순환성의 미분 가능한 리프레젠테이션을 통해 DAG의 구조 제약 조건을 강제한다.
• 완벽한 간섭(간섭된 노드가 부모로부터 분리됨), 불완전한 간섭(인과 메커니즘이 변경됨), 목표가 불확실한 간섭을 모두 지원하는 프레임워크이다.
• 두 가지 구현 방식을 제안한다: 하나는 밀도 추정을 위해 표준 신경망을 사용하고, 다른 하나는 더 높은 모델링 유연성을 확보하기 위해 일반 밀도 근사기로 노멀라이징 플로우를 사용한다.
• 스토하스틱 그래디언트 디센트를 통해 최적화를 수행하며, DAG의 비순환성 제약 조건을 미분 가능하게 처리하여 역전파가 DAG의 구조를 통해 가능하도록 한다.
• 이론적으로 타당성이 입증되었으며, 정규성 조건 하에서 제안된 스코어의 정확한 최대화는 알려진 목표 및 목표가 불확실한 간섭 설정 모두에서 진짜 DAG의 $σ$-마르코프 동치류를 식별한다.

실험 결과

연구 질문

• RQ1 목표가 불확실한 경우조차도 간섭 데이터로부터 인과 구조를 효과적으로 학습할 수 있는, 연속적이고 미분 가능한 최적화 프레임워크가 가능한가?
• RQ2 일반적인 비선형 기능 형태 하에서 제안된 방법이 간섭적 마르코프 동치류의 이론적 식별성을 달성하는가?
• RQ3 완벽한 간섭, 불완전한 간섭, 목표가 불확실한 간섭이 모두 포함된 설정에서 최신 기술 대비 성능은 어떠한가?
• RQ4 노멀라이징 플로우와 같은 표현력 있는 밀도 추정기의 활용이 비선형, 비정규 설정에서 인과 발견 성능을 향상시키는가?
• RQ5 다양한 간섭 유형과 노이즈 수준이 이 방법의 견고성과 정확성에 미치는 영향은 어떠한가?

주요 결과

• DCDI는 평가된 모든 설정에서 최신 기술을 초월하는 성능을 달성하며, 비선형 기능 형태와 다양한 간섭 유형을 포함한다.
• 목표가 알려진 간섭 설정에서, DCDI-G(표준 신경망 사용)는 30개 변수를 가진 데이터셋에서 평균 F1 스코어 80.5 ± 19.0을 기록하여 모든 베이스라인을 압도한다.
• DCDI-DSF(노멀라이징 플로우 사용)는 동일한 데이터셋에서 평균 F1 스코어 81.3 ± 11.3을 기록하며, 더 높은 표현력의 밀도 추정의 이점을 입증한다.
• 불완전한 간섭 조건에서도 높은 견고성을 보이며, DCDI-DSF는 30개 변수 데이터셋에서 평균 F1 스코어 77.7 ± 12.8을 기록한다.
• 목표가 불확실한 간섭 설정에서 DCDI-DSF는 30개 변수 데이터셋에서 평균 F1 스코어 77.9 ± 7.5를 기록하며, UTIGSP 및 JCI-PC 변종보다 뚜렷하게 뛰어난 성능을 보였다.
• 이론적 보장 덕분에 스코어의 정확한 최대화가 진짜 DAG의 $σ$-마르코프 동치류를 식별함으로써, 신뢰할 수 있는 인과 발견을 위한 견고한 기반을 제공한다.