[논문 리뷰] Causal Inference Using Tractable Circuits

Adnan Darwiche|arXiv (Cornell University)|2022. 02. 07.

Bayesian Modeling and Causal Inference인용 수 6

한 줄 요약

이 논문은 비모수적 구조적 인과 모델을 트랙태블 산술 회로로 컴파일하여, 인과 그래프의 트리폭이 크더라도 선형 시간 추론을 지원하는 방법을 제안한다. 핵심 기여는 '인과 트리폭'—기존 트리폭이 유한하지 않을 수 있는 상황에서도 유한하게 유지될 수 있는 새로운 복잡도 측정 기준—의 도입으로, 이는 회로 크기를 지수적으로 감소시키고 가시적이고 매개변수 추정을 고려한 인과 추론을 가능하게 한다.

ABSTRACT

The aim of this paper is to discuss a recent result which shows that probabilistic inference in the presence of (unknown) causal mechanisms can be tractable for models that have traditionally been viewed as intractable. This result was reported recently to facilitate model-based supervised learning but it can be interpreted in a causality context as follows. One can compile a non-parametric causal graph into an arithmetic circuit that supports inference in time linear in the circuit size. The circuit is also non-parametric so it can be used to estimate parameters from data and to further reason (in linear time) about the causal graph parametrized by these estimates. Moreover, the circuit size can sometimes be bounded even when the treewidth of the causal graph is not, leading to tractable inference on models that have been deemed intractable previously. This has been enabled by a new technique that can exploit causal mechanisms computationally but without needing to know their identities (the classical setup in causal inference). Our goal is to provide a causality-oriented exposure to these new results and to speculate on how they may potentially contribute to more scalable and versatile causal inference.

연구 동기 및 목표

• 기존에 비가역적인 것으로 간주되어 왔던 높은 트리폭을 가진 모델에서 효율적이고 확장 가능한 인과 추론을 가능하게 하기 위해.
• 기능 형태를 알지 못하더라도 인과 메커니즘을 계산적으로 활용할 수 있는 방법을 개발하여, 고전적 인과 추론 가정과 일치시키기 위해.
• 기존 트리폭이 유한하지 않을 수 있는 상황에서도 유한하게 유지될 수 있는 새로운 복잡도 측정 기준인 '인과 트리폭'을 도입하기 위해.
• 컴파일된 회로가 데이터로부터 매개변수 추정과 결과 인과 모델에 대한 선형 시간 추론을 모두 지원함을 보여주기 위해.
• 인과 AI 분야에서의 광범위한 채택과 융합을 촉진하기 위해, 회로 기반 추론 기법에 대해 인과 중심의 설명을 제공하기 위해.

제안 방법

• 기본적으로 비모수적 구조적 인과 모델(Structural Causal Model, SCM)을 선형 시간 추론을 지원하는 트랙태블 산술 회로로 컴파일하기 위해.
• 모델 매개변수의 정체성을 알지 못하더라도 기능적 의존성(인과 메커니즘)을 활용하는 새로운 회로 컴파일 알고리즘을 사용하여, 모델 매개변수가 알려지지 않은 경우에도 컴파일이 가능하도록 하기 위해.
• 기구 복제를 선택적으로 수행하고 제거 순서를 최적화함으로써 회로 크기를 줄이기 위해 '박스 없는 공동나무(thinned jointree)' 구축 기법을 적용하기 위해.
• 기존 트리폭을 지배할 수 있고, 트리폭이 유한하지 않을 수 있는 경우에도 유한하게 유지될 수 있는 새로운 복잡도 지표인 '인과 트리폭'—모든 박스 없는 공동나무 중 최소 너비—를 활용하기 위해.
• 기구 복제, 공동나무 구축, 박스 처리를 위한 휴리스틱 기법을 사용하여 회로 크기를 최소화하고, 벤치마크에서의 실험적 검증을 수행하기 위해.
• 다층 추론 지원: 데이터로부터 매개변수 추정과 컴파일된 회로에서의 인과 질의(예: do-계산법, 반대가치적 추론)를 선형 시간 내에 수행하기 위해.

실험 결과

연구 질문

• RQ1 기능 형태를 알지 못하더라도 인과 메커니즘을 활용함으로써, 트리폭이 높은 모델에서 인과 추론을 트랙태블하게 만들 수 있는가?
• RQ2 기존 트리폭이 유한하지 않을 수 있는 상황에서도 유한하게 유지될 수 있는 새로운 복잡도 측정 기준인 '인과 트리폭'을 정의할 수 있는가?
• RQ3 비모수적 인과 그래프에서 산술 회로를 컴파일하여 매개변수 추정과 선형 시간 추론을 모두 지원할 수 있는가?
• RQ4 알 수 없는 인과 메커니즘 존재 하에, 기구 복제와 공동나무 박스 처리를 통해 회로 크기를 얼마나 줄일 수 있는가?
• RQ5 이 방법은 이전에는 비가역적이라 여겨졌던 모델에서 확장 가능하고 다재다능한 인과 추론을 가능하게 할 수 있는가?

주요 결과

• 인과 그래프의 인과 트리폭은 항상 그 트리폭 이하이므로, 향상된 복잡도 한계의 이론적 기반을 확립한다.
• 변수 수가 $ n^2 + 2n + 1 $ 개인 인과 그래프의 가족이 존재하며, 이들의 트리폭은 $ n+1 $ 이고 인과 트리폭은 $ 2 $ 이다. 이는 지수적 회로 크기 감소 잠재력을 보여준다.
• 이 가족의 변종에 추가 엣지가 존재하는 경우, 트리폭은 여전히 $ heta(n) $ 이지만 인과 트리폭은 $ 4 $ 이하로 유한하게 유지되며, 이는 높은 트리폭이 작은 회로를 허용하지 않는다는 것을 보여준다.
• 변수 $ X_1 $ 가 $ Z_{nn} $ 에 미치는 인과 효과는 지수적 합을 포함하는 백도어 공식을 가질 수 있지만, 해당 회로는 $ O(n^2) $ 크기로 컴파일 가능하며 선형 시간 추론이 가능하다.
• 제안된 컴파일 방법은 기존 변수 제거 기법 대비 지수적 회로 크기 감소를 가져오며, 특히 높은 트리폭이지만 낮은 인과 트리폭을 가진 모델에서 두드러진다.
• 이 방법은 데이터로부터의 매개변수 추정과 결과 인과 모델에 대한 효율적 추론을 모두 지원하여, 종단 간 트랙태블 인과 추론을 가능하게 한다.