[논문 리뷰] Diffusion Models for Causal Discovery via Topological Ordering

Pedro L. Sánchez, Xiao Liu외 2명|arXiv (Cornell University)|2022. 10. 12.

Bayesian Modeling and Causal Inference인용 수 4

한 줄 요약

이 논문은 추가 노이즈 모델에서 위상적 순서를 위한 데이터 로그우도의 헤시안을 추정하기 위해 노이즈 제거 확산 확률 모델(DPMs)을 활용하는 확장 가능한 원인 발견 방법인 DiffAN을 제안한다. 신경 스코어 모델을 한 번만 훈련하고 재훈련 없이 '낙엽 스코어' 메커니즘을 통해 효율적으로 업데이트함으로써, 최대 500개의 변수와 10⁵개의 샘플을 가진 고차원 데이터셋에서도 원인 발견을 가능하게 하며, 이전 방법들에 비해 확장성에서 뛰어나면서도 소규모 데이터셋에서는 최신 기술 수준의 정확도를 유지한다.

ABSTRACT

Discovering causal relations from observational data becomes possible with additional assumptions such as considering the functional relations to be constrained as nonlinear with additive noise (ANM). Even with strong assumptions, causal discovery involves an expensive search problem over the space of directed acyclic graphs (DAGs). \emph{Topological ordering} approaches reduce the optimisation space of causal discovery by searching over a permutation rather than graph space. For ANMs, the \emph{Hessian} of the data log-likelihood can be used for finding leaf nodes in a causal graph, allowing its topological ordering. However, existing computational methods for obtaining the Hessian still do not scale as the number of variables and the number of samples increase. Therefore, inspired by recent innovations in diffusion probabilistic models (DPMs), we propose \emph{DiffAN}\footnote{Implementation is available at \url{https://github.com/vios-s/DiffAN} .}, a topological ordering algorithm that leverages DPMs for learning a Hessian function. We introduce theory for updating the learned Hessian without re-training the neural network, and we show that computing with a subset of samples gives an accurate approximation of the ordering, which allows scaling to datasets with more samples and variables. We show empirically that our method scales exceptionally well to datasets with up to $500$ nodes and up to $10^5$ samples while still performing on par over small datasets with state-of-the-art causal discovery methods. Implementation is available at https://github.com/vios-s/DiffAN .

연구 동기 및 목표

• 고차원 데이터셋에서 변수와 샘플 수가 많을 경우 발생하는 확장성 문제를 해결하기 위해.
• 대규모 환경에서 커널 기반의 헤시안 추정이 계산적으로 불가능한 문제를 해결하기 위해.
• 노이즈 제거 확산 모델을 통해 스코어 함수를 학습하여 위상적 순서를 효율적으로 수행하기 위해.
• 각 잎 노드 제거 후 신경망을 재훈련하지 않고도 스코어 함수를 효율적으로 업데이트할 수 있는 방법을 개발하기 위해.
• 소규모 데이터셋에서는 최신 기술 수준의 성능를 달성하면서도 최대 500개의 노드와 10⁵개의 샘플을 가진 대규모 문제로 확장 가능하도록 하기 위해.

제안 방법

• 데이터 분포의 스코어 함수를 학습하기 위해 노이즈 제거 확산 확률 모델(DPM)을 훈련하여, 역전파를 통한 효율적 헤시안 계산을 가능하게 한다.
• DPM의 스코어와 전체 야코비안을 사용하여 원인 그래프의 잎 노드 식별을 위한 로그우도의 헤시안을 계산한다.
• 잎 노드를 제거한 후 신경망을 재훈련하지 않고도 스코어 함수를 분석적으로 업데이트할 수 있는 '낙엽 스코어' 프레임워크를 도입한다.
• 헤시안 평가를 위해 데이터의 부분집합을 사용하여 샘플 크기에 대해 일정한 시간 복잡도를 확보하고 확장성을 실현한다.
• 헤시안의 대각 요소를 기반으로 잎 노드를 반복적으로 식별하고 제거하여 위상적 순서를 통해 원인 DAG를 재구성한다.
• DPM이 분포 외 점으로 일반화할 수 있고, 커널 기반 방법과 달리 부분집합 추출을 지원한다는 사실을 활용한다.

실험 결과

연구 질문

• RQ1 노이즈 제거 확산 모델이 원인 발견을 위한 데이터 로그우도의 헤시안을 효과적으로 추정하는 데 사용될 수 있는가?
• RQ2 각 잎 노드 제거 후 신경망을 재훈련하지 않고도 스코어 함수를 효율적으로 업데이트할 수 있는가?
• RQ3 기존 방법들이 실패하는 조건에서 최대 500개의 변수와 10⁵개의 샘플을 가진 데이터셋으로도 확장 가능한가?
• RQ4 소규모 데이터셋에서 최신 기술 수준의 원인 발견 알고리즘과 비교해 성능가 어떻게 되는가?
• RQ5 헤시안 계산 중 부분집합 추출을 통해 정확도를 유지하면서도 계산 비용을 극적으로 줄일 수 있는가?

주요 결과

• DiffAN은 최대 500개의 변수와 10⁵개의 샘플을 가진 데이터셋으로 확장 가능하며, 기존 방법들 중 SCORE와 같은 방법은 64GB RAM 환경에서 2,000개 샘플을 초과하면 기능을 잃는다.
• 소규모 데이터셋(예: 50개 변수)에서도 최신 기술 수준의 방법들과 경쟁 가능한 성능를 유지한다.
• 낙엽 스코어 메커니즋试는 샘플 크기에 대해 일정한 복잡도로 헤시안 계산을 가능하게 하여 각 잎 노드 제거 후 효율적인 업데이트를 실현한다.
• 헤시안 평가에 부분집합을 사용함으로써 정확한 위상적 순서를 도출할 수 있었으며, 이는 근사 전략의 타당성을 검증한다.
• DPM 기반 스코어 추정은 커널 기반 방법이 전체 커널 행렬이 필요로 하는 것과 달리 분포 외 점으로의 일반화를 가능하게 한다.
• 기존 딥러닝 기반 원인 발견 방법들과 달리 신경망 아키텍처에 대한 제약 없이 접근할 수 있다.