[논문 리뷰] Amortized learning of neural causal representations

Nan Rosemary Ke, Jane X. Wang외 3명|arXiv (Cornell University)|2020. 08. 21.

Bayesian Modeling and Causal Inference참고 문헌 23인용 수 4

한 줄 요약

이 논문은 빠른 새로운 인과적 구조에의 적응을 가능하게 하기 위해 인과 그래프의 연속적이고 암시적인 표현을 학습하는 신경망 프레임워크인 인과 관계 네트워크(Causal Relational Networks, CRN)를 소개한다. 메타학습과 간섭 데이터, 그리고 미분 가능한 그래프 디코더를 활용함으로써 CRN는 합성 데이터에서 90%의 엣지 정확도를 달성하여 기존의 기준 모델들을 크게 능가하며, 확장 가능하고 이식 가능한 인과 발견을 위한 연속적 인과 표현의 효과성을 입증한다.

ABSTRACT

Causal models can compactly and efficiently encode the data-generating process under all interventions and hence may generalize better under changes in distribution. These models are often represented as Bayesian networks and learning them scales poorly with the number of variables. Moreover, these approaches cannot leverage previously learned knowledge to help with learning new causal models. In order to tackle these challenges, we represent a novel algorithm called extit{causal relational networks} (CRN) for learning causal models using neural networks. The CRN represent causal models using continuous representations and hence could scale much better with the number of variables. These models also take in previously learned information to facilitate learning of new causal models. Finally, we propose a decoding-based metric to evaluate causal models with continuous representations. We test our method on synthetic data achieving high accuracy and quick adaptation to previously unseen causal models.

연구 동기 및 목표

• 기존 베이지안 네트워크 기반의 인과적 구조 학습의 확장성과 이식성의 한계를 해결하기 위해.
• 메타학습을 통해 이전에 학습한 지식을 활용하여 새로운 인과 그래프에 빠르게 적응할 수 있도록 하기 위해.
• 효율적인 추론과 일반화를 지원하는, 연속적 표현을 갖춘, 미분 가능한 인과 그래프 표현을 개발하기 위해.
• 암묵적이고 연속적인 구조를 참조 기반 그래프와 비교하는 데 어려움을 해결하기 위해, 연속적 표현을 갖는 인과 모델을 평가하기 위한 디코딩 기반 지표를 제안하기 위해.

제안 방법

• 각 에피소드에서 새로운 고유한 인과 그래프를 샘플링하고, 이를 기반으로 간섭 데이터를 생성하는 메타학습 설정을 사용한다.
• 간섭 데이터를 처리하고 인과적 구조를 나타내는 연속적 믿음 상태를 생성하기 위해 관계형 신경망 인코더를 활용한다.
• 연속적 믿음 상태에서 인접 행렬을 재구성함으로써 엣지 정확도를 통한 평가가 가능한 그래프 디코더를 도입한다.
• 구조에 대한 명시적 지도 학습 없이도 의미 있는 표현을 학습하기 위해 관계형 오토인코더를 통한 비지도 대비 학습을 적용한다.
• 믿음 상태의 학습과 그래프 디코더의 학습을 분리하기 위해 스탑그래디언트 연산을 사용하여, 지도 신호를 활용한 엔드 투 엔드 학습을 가능하게 한다.
• 관계형 인코더에서 어텐션 메커니즘을 활용하여 인과 그래프 내 변수 간의 복잡한 의존성을 모델링한다.

실험 결과

연구 질문

• RQ1 연속적이고 신경망 기반의 인과 그래프 표현은 이산적 베이지안 네트워크 탐색에 비해 더 빠르고 확장 가능한 인과 발견을 가능하게 하는가?
• RQ2 다양한 그래프에서 훈련한 후, 메타학습을 통한 암시적 학습이 새로운, 볼 수 없는 인과적 구조로 일반화하는 데 효과적인가?
• RQ3 연속적 믿음 상태만으로도 정확한 인과 그래프를 재구성할 수 있는가, 아니면 디코더로부터의 명시적 지도 신호가 필요한가?
• RQ4 제안된 디코딩 기반 평가 지표는 전통적인 구조 매칭에 비해 연속적 인과 표현을 평가하는 데 얼마나 효과적인가?
• RQ5 관계형 아키텍처는 MLP나 LSTM과 같은 간단한 베이스라인에 비해 성능 향상에 얼마나 기여하는가?

주요 결과

• 훈련 후 Causal Relational Network(CRN)는 합성 인과 그래프에서 90%의 엣지 예측 정확도를 달성하여, LSTM 베이스라인의 약 70%에 머무르는 것과 비교해 뚜렷이 뛰어난 성능을 보였다.
• 모델는 에피소드 내에서 빠른 적응을 보였으며, 더 많은 간섭 샘플을 관찰할수록 엣지 정확도가 향상되어 암시적 추론의 효과성을 입증했다.
• 디코더에서 믿음 상태를 제거하면 정확도가 60% 이하로 떨어졌으며, 이는 연속적 표현이 인과적 구조 복원에 필수적인 정보를 담고 있음을 증명한다.
• 디코더에 지도 신호를 도입함으로써 엣지 정확도가 90%에서 95%로 향상되었으며, 이는 디코더가 기울기 피드백에서 유의미한 이점을 얻음을 보여준다.
• 관계형 오토인코더는 필수적이었으며, 이를 제거하면 모델이 의미 있는 표현을 학습하지 못했고, 이는 오토인코더가 없는 베이스라인에서의 열악한 성능으로 확인되었다.
• 디코딩 기반 평가 지표는 참조 기반 인과적 구조 복원 능력을 효과적으로 측정하여, 전체 간섭 예측 비교에 비해 확장 가능한 대안을 제공했다.