[논문 리뷰] Causal Deep Learning

Jeroen Berrevoets, Krzysztof Kacprzyk외 2명|arXiv (Cornell University)|2023. 03. 03.

Bayesian Modeling and Causal Inference인용 수 4

한 줄 요약

이 논문은 부분적인 인과 지식, 매개변수적 기능 형태, 시간적 동역학을 통합하여 의료, 경제학, 환경 과학 분야에서 실제 의사결정을 향상시키는 Causal Deep Learning(CDL) 프레임워크를 제안한다. 구조적, 매개변수적, 시간적 차원에서 검증 가능한 가정을 기반으로 모델을 구성함으로써, CDL은 복잡한 고차원 데이터 환경에서 강력하고 해석 가능하며 일반화 가능한 인과 추론을 가능하게 한다.

ABSTRACT

Causality has the potential to truly transform the way we solve a large number of real-world problems. Yet, so far, its potential largely remains to be unlocked as causality often requires crucial assumptions which cannot be tested in practice. To address this challenge, we propose a new way of thinking about causality -- we call this causal deep learning. Our causal deep learning framework spans three dimensions: (1) a structural dimension, which incorporates partial yet testable causal knowledge rather than assuming either complete or no causal knowledge among the variables of interest; (2) a parametric dimension, which encompasses parametric forms that capture the type of relationships among the variables of interest; and (3) a temporal dimension, which captures exposure times or how the variables of interest interact (possibly causally) over time. Causal deep learning enables us to make progress on a variety of real-world problems by leveraging partial causal knowledge (including independencies among variables) and quantitatively characterising causal relationships among variables of interest (possibly over time). Our framework clearly identifies which assumptions are testable and which ones are not, such that the resulting solutions can be judiciously adopted in practice. Using our formulation we can combine or chain together causal representations to solve specific problems without losing track of which assumptions are required to build these solutions, pushing real-world impact in healthcare, economics and business, environmental sciences and education, through causal deep learning.

연구 동기 및 목표

• 실제 적용 가능성의 격차를 해소하기 위해 딥러닝과 부분적이고 검증 가능한 인과 지식을 통합함으로써 인과 추론의 실용성을 높이기 위해.
• 검증 가능한 가정과 검증할 수 없는 가정을 명시적으로 구분하는 통합 프레임워크를 개발하기 위해.
• 복잡하고 고차원적이며 시간에 따라 변화하는 데이터를 포함한 분야에서 인과 모델의 실용적 구현을 가능하게 하기 위해.
• 시간에 따라 변화하는 인과 관계를 정량적으로 기술함으로써 의료, 경제학, 환경 과학 분야의 의사결정을 지원하기 위해.
• 다양한 문제 유형과 데이터 가정에 걸쳐 인과 딥러닝 연구를 분류하고 이끌기 위한 체계적 분류 체계를 제공하기 위해.

제안 방법

• CDL은 세 가지 차원에 따라 모델을 구성한다: 구조적(부분적인 인과 지식, 조건부 독립성 포함), 매개변수적(변수 간 관계의 기능 형태), 시간적(변수 간 시간에 따른 변화하는 상호작용).
• 프레임워크는 분포 인수분해를 사용하여 인과 가정을 인코딩하며, 이는 알려진 또는 가정된 인과 그래프를 기반으로 한 모델 구축을 가능하게 한다.
• 딥 뉴럴 네트워크를 활용하여 입력 데이터를 가정된 인과 구조, 기능 형태, 시간적 동역학을 충족하는 표현으로 매핑한다.
• 모델 파이프라인은 인과 표현을 연결하면서 필요한 가정을 추적할 수 있도록 하여 추적 가능성과 검증 가능성을 보장한다.
• 입력 가정을 충족하는 데이터를 사용한 평가를 지원하며, 특히 간섭성 또는 종단적 데이터를 활용하여 인과 구조를 검증할 수 있다.
• 입력 가정(예: 비모수적, 노이즈 모델, 완전히 알려진 함수)과 표현 유형에 따라 CDL 방법을 분류하는 분류 지도를 제안하여 방법 개발 및 비교를 지원한다.

실험 결과

연구 질문

• RQ1 부분적 또는 검증할 수 없는 인과 가정이 존재하는 실제 도메인에서 인과 추론을 어떻게 실용적으로 적용할 수 있는가?
• RQ2 딥러닝은 부분적인 인과 지식, 기능 형태, 시간적 동역학을 어떻게 통합하여 모델의 해석 가능성과 강건성을 향상시키는가?
• RQ3 핵심 가정을 검증할 수 없는 상황에서 인과 딥러닝 모델을 체계적으로 검증할 수 있는 방법은 무엇인가?
• RQ4 CDL은 표준 정확도 지표를 초월하여 분포 외 일반화, 도메인 적응, 강건성 향상에 어떻게 기여할 수 있는가?
• RQ5 연구자와 전문가들이 인과 딥러닝 분야의 다양한 방법을 체계적으로 탐색하고 비교하며 새로운 방법을 개발할 수 있는 방법은 무엇인가?

주요 결과

• CDL는 검증 가능한 가정과 검증할 수 없는 가정을 명시적으로 분리하는 체계적인 프레임워크를 제공하여, 인과 모델의 더 책임감 있고 투명한 구현을 가능하게 한다.
• 부분적인 인과 구조, 매개변수적 형태, 시간적 동역학을 통합함으로써, 의료 분야에서의 약물 반응과 같은 복잡한 시스템의 더 정확하고 해석 가능한 모델링이 가능해진다.
• 필요한 가정의 추적 가능성을 유지하는 모델 파이프라인을 구성할 수 있어, 실제 적용에서 감사 가능성과 신뢰도가 향상된다.
• 환경 간 불변성을 갖는 인과 표현을 학습함으로써, CDL은 분포 외 일반화, 도메인 적응, 강건성 향상에서 향상된 성능을 달성한다.
• 제안된 분류 지도는 완전히 알려진 매개변수적 함수를 가정하는 방법의 부족과 같은 연구 격차를 식별하고 향후 방법 개발을 안내한다.
• 특히 의료 및 경제 응용 분야에서 인과 구조 가정을 뒷받침하기 위해 간섭성 또는 종단적 데이터를 활용한 실증적 검증을 권장한다.