[논문 리뷰] The Causal-Neural Connection: Expressiveness, Learnability, and Inference

Kevin Xia, Kai-Zhan Lee외 2명|arXiv (Cornell University)|2021. 07. 01.

Bayesian Modeling and Causal Inference인용 수 20

한 줄 요약

이 논문은 구조적 인과 제약 조건을 통합하여 인과 식별 가능성과 추정을 모두 가능하게 하는 새로운 종류의 신경망인 신경 인과 모델(Neural Causal Models, NCMs)을 소개한다. 신경망의 보편적 표현 능력에도 불구하고, 저자들은 표준 모델이 인과 계층의 내재적 한계로 인해 관측 데이터만으로는 간섭 효과를 학습할 수 없음을 증명한다. NCMs는 이러한 문제를 해결하기 위해 인과 구조를 내재화함으로써, 인과 추론 작업을 위한 엔드 투 엔드 최적화를 가능하게 하며, 증명 가능한 식별 가능성과 시뮬레이션에서의 정확한 추정을 보장한다.

ABSTRACT

One of the central elements of any causal inference is an object called structural causal model (SCM), which represents a collection of mechanisms and exogenous sources of random variation of the system under investigation (Pearl, 2000). An important property of many kinds of neural networks is universal approximability: the ability to approximate any function to arbitrary precision. Given this property, one may be tempted to surmise that a collection of neural nets is capable of learning any SCM by training on data generated by that SCM. In this paper, we show this is not the case by disentangling the notions of expressivity and learnability. Specifically, we show that the causal hierarchy theorem (Thm. 1, Bareinboim et al., 2020), which describes the limits of what can be learned from data, still holds for neural models. For instance, an arbitrarily complex and expressive neural net is unable to predict the effects of interventions given observational data alone. Given this result, we introduce a special type of SCM called a neural causal model (NCM), and formalize a new type of inductive bias to encode structural constraints necessary for performing causal inferences. Building on this new class of models, we focus on solving two canonical tasks found in the literature known as causal identification and estimation. Leveraging the neural toolbox, we develop an algorithm that is both sufficient and necessary to determine whether a causal effect can be learned from data (i.e., causal identifiability); it then estimates the effect whenever identifiability holds (causal estimation). Simulations corroborate the proposed approach.

연구 동기 및 목표

• 신경망의 보편적 함수 근사 능력과 그들이 관측 데이터만으로는 개입을 추론하지 못하는 데서 발생하는 격차를 해결하기 위해.
• 신경 모델에서 인과 추론을 위해 필요한 구조적 제약 조건을 코딩하는 새로운 인과적 편향(formalize)을 위해.
• 단일 최적화 과정을 통해 인과 식별 가능성과 인과 효과 추정을 모두 결정할 수 있는 통합 프레임워크를 개발하기 위해.
• 신경망이 단순한 함수 피팅을 넘어서 인과 추론—특히 식별 가능성—을 수행할 수 있음을 보여주기 위해.
• 관측 및 개입 분포의 생성 모델링을 지원하는 프oxy 모델 프레임워크를 제공하여 전체 인과 파ipeline 학습을 가능하게 하기 위해.

제안 방법

• 구조적 인과 제약 조건을 신경 아키텍처에 통합하여 인과 계층과의 호환성을 보장하는 신경 인과 모델(NCM)을 제안한다.
• 관측 분포 $P(V)$와 개입 분포 $P(y \mid do(x))$를 변분 추론 프레임워크를 통해 동시에 학습할 수 있는 미분 가능 최적화 목표를 수립한다.
• 학습 중에 초기에는 높고 점차 감소하는 동적 하이퍼파rameter $\lambda$를 도입하여, $P(V)$ 학습과 $P(y \mid do(x))$ 최적화 사이의 균형을 조절함으로써 정확한 분포 학습을 보장한다.
• Algorithm 1을 개발하여, $P(y \mid do(x))$가 $P(V)$로부터 유일하게 결정될 수 있는지 여부를 확인함으로써 인과 식별 가능성을 판단하는 신경 최적화 기반 방법을 제시한다.
• NCM이 진정한 SCM의 관측 레이어를 모방하도록 훈련시키되, 고차 인과 레이어를 추론할 수 있는 능력을 유지하는 프록시 모델 접근법을 사용한다.
• Bareinboim 등(2020)의 인과 계층 정리에 기반하여, 심지어 매우 표현력이 뛰어난 신경망이라도 구조적 제약 조건이 없이 식별 가능성의 한계를 우회할 수 없다는 것을 증명한다.

실험 결과

연구 질문

• RQ1 보편적 표현 능력을 지닌 신경망이 관측 데이터만으로는 간섭 효과를 학습할 수 있는가?
• RQ2 신경망이 인과 추론—특히 인과 효과의 식별 가능성 여부를 판단하는 것—을 수행하기 위해 필요한 인과적 편향는 무엇인가?
• RQ3 단일 신경 모델이 동시에 인과 식별 가능성을 판단하고 개입 분포를 추정할 수 있는가?
• RQ4 신경 모델에 구조적 제약 조건을 통합할 경우, 다양한 인과 추론 작업에 대한 일반화 능력에 어떤 영향을 미치는가?
• RQ5 관측 분포 $P(V)$와 일관성을 유지하면서 $P(y \mid do(x))$의 정확한 추정을 보장하기 위해 필요한 훈련 동역학과 최적화 전략는 무엇인가?

주요 결과

• 보편적 표현 능력에도 불구하고, 표준 신경망은 인과 계층의 제약으로 인해 관측 데이터만으로는 간섭 효과를 추론할 수 없다.
• 제안된 신경 인과 모델(NCM)은 엔드 투 엔드 미분 가능 최적화를 통해 인과 식별 가능성을 성공적으로 판단하고 개입 분포를 추정한다.
• 동적 하이퍼파rameter $\lambda$는 관측 분포 학습과 개입 질의 최적화 사이의 효과적인 트레이드오프를 가능하게 하여 수렴성과 정확도를 향상시킨다.
• 시뮬레이션 결과, 훈련 오차가 최소화될 경우 식별 가능성 탐지와 추정 모두에서 높은 정확도를 달성함으로써, 이 방법의 강건성을 뒷받침한다.
• 이 프레임워크는 관측 및 개입 분포의 생성 모델링을 지원하여, 질의 중심 추정 방법보다 더 넓은 활용성을 제공한다.
• 본 연구는 신경망이 구조적 인과 제약 조건을 내재화함으로써, 단순한 함수 피팅을 넘어서 인과 추론—특히 식별 가능성—을 수행할 수 있음을 처음으로 입증한다.