[논문 리뷰] Causal normalizing flows: from theory to practice

Adrián Javaloy, Pablo Sánchez‐Martín외 1명|arXiv (Cornell University)|2023. 06. 08.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 인과적 순서를 사용하여 관측 데이터에서 구조적 인과 모델을 식별하고 추정하기 위해 자동회귀 정규화 흐름을 활용하는 인과적 정규화 흐름(Causal NFs)을 제안한다. 이는 도-연산자(do-operator)를 구현하여 정확한 간섭 및 반대가치 추론을 가능하게 하며, 혼합 이산-연속 데이터와 부분적인 인과 그래프에서 뛰어난 성능을 보이며, 기존의 단일 DNN 접근법보다 인과 추론 작업에서 슈퍼리어하다.

ABSTRACT

In this work, we deepen on the use of normalizing flows for causal reasoning. Specifically, we first leverage recent results on non-linear ICA to show that causal models are identifiable from observational data given a causal ordering, and thus can be recovered using autoregressive normalizing flows (NFs). Second, we analyze different design and learning choices for causal normalizing flows to capture the underlying causal data-generating process. Third, we describe how to implement the do-operator in causal NFs, and thus, how to answer interventional and counterfactual questions. Finally, in our experiments, we validate our design and training choices through a comprehensive ablation study; compare causal NFs to other approaches for approximating causal models; and empirically demonstrate that causal NFs can be used to address real-world problems, where the presence of mixed discrete-continuous data and partial knowledge on the causal graph is the norm. The code for this work can be found at https://github.com/psanch21/causal-flows.

연구 동기 및 목표

• 관측 데이터에서 인과적 순서만을 사용하여 구조적 인과 모델을 식별하고 추정할 수 있는 딥 생성 모델을 개발하는 것.
• 자기 자신이 인과적 의존성을 내재하고 인과 그래프의 구조를 존중하는 정규화 흐름을 설계하는 것.
• 정규화 흐름 내부에 도-연산자를 구현하여 정확한 간섭 및 반대가치 추론을 가능하게 하는 것.
• 혼합 이산-연속 변수와 부분적인 인과 지식을 가진 실제 데이터셋에서 프레임워크를 검증하는 것.
• 인과 데이터 생성 과정을 근사하는 데서 기존의 단일 DNN 접근법을 뛰어넘는 것.

제안 방법

• 자기회귀 정규화 흐름(NFs)을 사용하여 외생 변수들의 연합분포를 모델링하고, 이를 인과적 순서로 매개변수화한다.
• 인접행렬 A와 인과적 순서 π를 통해 인과적 구조를 통합하며, 이는 자기회귀 흐름의 조건부 의존성 구조를 정의한다.
• 도-연산자는 간섭된 변수의 조건부 분포를 수정하여 고정함으로써 흐름 내에서 실현되며, 이는 정확한 간섭 밀도 추정을 가능하게 한다.
• 적절한 조건부 분포(예: 이산형 및 연속형 흐름)를 사용함으로써 혼합 이산-연속 데이터를 지원한다.
• 흐름의 자기회귀 구조를 통해 각 변수의 분포를 그들의 인과적 부모 변수에 조건화함으로써 인과 지식을 통합한다.
• 관측 데이터에 대한 최대우도 추정을 통해 전체 인과 모델의 엔드 투 엔드 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 알려진 인과적 순서 하에서 인과적 정규화 흐름은 관측 데이터에서 구조적 인과 모델을 식별할 수 있는가?
• RQ2 어떻게 인과적 구조를 정규화 흐름 내에 통합하여 정확한 조건부 의존성을 보장할 수 있는가?
• RQ3 정규화 흐름 내에 도-연산자를 효과적으로 구현하여 정확한 간섭 및 반대가치 추론을 가능하게 할 수 있는가?
• RQ4 제안된 Causal NF는 다른 딥 생성 모델에 비해 인과 추론 작업에서 어떻게 성능을 내는가?
• RQ5 Causal NF는 혼합 이산-연속 변수와 부분적인 인과 지식을 가진 실제 데이터를 다룰 수 있는가?

주요 결과

• Causal NF는 SIMPSONNLIN 및 5-CHAINLIN과 같은 시뮬레이션 벤치마크에서 참값 간섭 분포를 성공적으로 복원하였으며, do(x3 = −1.09) 및 do(x3 = 2.18)의 정확한 추정을 보였다.
• 간섭된 변수에 포함되지 않는 상관관계는 유지되었으며, 간섭 후 조상에서 자손으로의 의존성이 정확히 끊어지는 것으로 나타났다.
• 독일 신용 데이터셋에서 Causal NF는 부분적인 인과 그래프 지식과 혼합 데이터 유형이 존재하는 상황에서도 관측 및 간섭 분포(do(x1 = 1))에 강력한 피팅을 보였다.
• 제거 실험 결과, NSF에 3층의 MLP를 사용하고 Adam 최적화기와 학습률 0.01을 적용하는 것이 최적의 성능을 내는 것으로 확인되었다.
• 복잡한 의존성과 혼합 데이터를 처리하는 데서 특히 두각을 나타내며, Causal NF는 경쟁하는 단일 DNN 방법보다 인과 데이터 생성 과정을 근사하는 데서 뛰어난 성능을 보였다.
• 프레임워크는 정당성 감사 작업을 성공적으로 처리하였으며, 오직 관측 데이터와 부분적인 인과 구조만을 사용하여 성별이 신용 결과에 미치는 인과 효과를 정확히 모델링하였다.