[논문 리뷰] Relating Graph Neural Networks to Structural Causal Models

Matej Zečević, Devendra Singh Dhami외 2명|arXiv (Cornell University)|2021. 09. 09.

Bayesian Modeling and Causal Inference인용 수 17

한 줄 요약

이 논문은 그래프 신경망(GNNs)과 구조적 인과 모델(SCMs)을 이론적으로 연결하는 기반을 구축하며, 그래프 구조 데이터에서 자동에코딩을 통한 인과적 영향 식별이 가능한 새로운 신경-인과 모델 클래스인 iVGAE를 제안한다. 이 모델이 인과적 영향 식별에 필수적이고 충분함을 증명하였으며, 벤치마크에서의 실증적 검증을 통해 간섭 밀도 추정 및 인과 추론 과제에서 뛰어난 성능을 보였다.

ABSTRACT

Causality can be described in terms of a structural causal model (SCM) that carries information on the variables of interest and their mechanistic relations. For most processes of interest the underlying SCM will only be partially observable, thus causal inference tries leveraging the exposed. Graph neural networks (GNN) as universal approximators on structured input pose a viable candidate for causal learning, suggesting a tighter integration with SCM. To this effect we present a theoretical analysis from first principles that establishes a more general view on neural-causal models, revealing several novel connections between GNN and SCM. We establish a new model class for GNN-based causal inference that is necessary and sufficient for causal effect identification. Our empirical illustration on simulations and standard benchmarks validate our theoretical proofs.

연구 동기 및 목표

• 그래프 신경망(GNNs)과 구조적 인과 모델(SCMs) 간의 공식적인 이론적 연결 고리를 제1원리에서 수립하기.
• 그래프 구조 데이터에서 인과적 영향 식별이 가능한 보다 정교한 신경-인과 모델(NCM) 클래스를 정의하기.
• 자기에코딩 메커니즘을 사용하여 GNN 내에서 간섭을 형식화함으로써 엔드 투 엔드 인과 추론을 가능하게 하기.
• 제안된 모델 클래스의 타당성, 표현력 및 식별 가능성과 같은 이론적 성질을 증명하기.
• 시뮬레이션과 표준 벤치마크에서의 실증적 검증을 통해 인과적 영향 식별 및 밀도 추정 과제에서의 모델 성능을 평가하기.

제안 방법

• 도-계산법 간섭을 잠재 공간 조작을 통해 모델링함으로써, 구조적 인과 모델링을 GNN과 통합한 간섭 인식 변동형 그래프 자동에코더(iVGAE)를 제안한다.
• 순열 불변성과 이웃 집합화를 보장하는 일반화된 메시지 전달 GNN 레이어를 정의: φ(di, ∑j∈NGi ψ(di, dj)).
• 잠재 분포 p(Z|X)의 근사 후행 분포를 위해 KL 발산 최소화를 통한 변동형 추론을 사용하며, 이는 증거 하한값(ELBO) 최적화를 통한 엔드 투 엔드 학습을 가능하게 한다.
• GNN 프레임워크 내에서 도-연산자를 적용하여 간섭을 시뮬레이션하며, 간섭를 잠재 변수에 대한 조건부 분포로 간주한다.
• 두 단계 학습 프로세스를 적용: 먼저 관측 데이터에서 사전 학습; 이후 공유된 가중치를 사용해 간섭 데이터에서 미세 조정.
• 밀도 추정 품질과 모델 수렴도 평가를 위해 ELBO와 로그-밀도를 평가 지표로 사용한다.

실험 결과

연구 질문

• RQ1 어떻게 그래프 신경망이 인과 추론을 지원하는 방식으로 구조적 인과 모델과 공식적으로 연결될 수 있는가?
• RQ2 GNN 기반 모델이 인과적 영향 식별을 달성하기 위해 필요한 최소한의 아키텍처 및 인도적 편향 요구 조건은 무엇인가?
• RQ3 여러 간섭 분포를 학습할 때, 학습 기간과 모델 용량이 성능에 어떻게 영향을 미치는가?
• RQ4 초기화 조정이 간섭 분포 정확한 추정 능력에 얼마나 큰 영향을 미치는가?
• RQ5 고정된 용량에서 간섭 분포의 수가 증가함에 따라 모델은 어떻게 스케일링되는가?

주요 결과

• iVGAE 모델은 간섭 분포를 정확하게 추정하며, 12,000개의 학습 스텝 후 Earthquake 데이터셋에서 테스트 로그-밀도가 -1.49에 도달하여 강력한 밀도 근사 능력을 보였다.
• 장기 학습 시 성능이 크게 향상되며, 'tub' 및 'lung' 노드의 경우 수렴 시 과소추정에서 정확한 피팅으로 전환됨을 확인하여 학습 기간이 모델 품질에 영향을 준다는 점을 입증했다.
• 모델 용량을 일정하게 유지할 때, 간섭 분포의 수를 2개에서 4개로 늘리면 로그-밀도 성능에 명백한 열화가 발생했으며, ASIA 데이터셋에서 테스트 로그-밀도가 -4.10에서 -3.79로 감소했다.
• 학습률, 풀링 유형, 깊이 등의 하이퍼파라미터 조정으로 성능 향상이 크게 이루어졌으며, Earthquake 데이터셋에서 최적의 테스트 ELBO가 조정 후 -1.91에서 -1.37로 향상되었다.
• 랜덤 시드 간 ELBO에 높은 변동성을 보였으며, 최악의 경우 테스트 ELBO 값이 최고 성능 사례에서 크게 떨어져 초기화 및 최적화 동역학에 민감함을 시사했다.
• 검증 성능가 테스트 성능과 밀접하게 일치하여, 모델이 잘 일반화되며 표준 학습 환경에서 과적합이 주요 문제로 작용하지 않음을 확인했다.