[논문 리뷰] Interventions and Counterfactuals in Tractable Probabilistic Models: Limitations of Contemporary Transformations

Ioannis Papantonis, Vaishak Belle|arXiv (Cornell University)|2020. 01. 29.

Bayesian Modeling and Causal Inference참고 문헌 27인용 수 4

한 줄 요약

이 논문은 Sum-Product Networks(SPNs)와 Probabilistic Sentential Decision Diagrams(PSDDs)와 같은 처리 가능한 확률 모델이 원인 분석 추론, 특히 간섭과 반대가정을 지원할 수 있는지 조사한다. SPNs는 잠재 요소에 의존하기 때문에 비트리비얼 원인 추론을 지원하지 못함을 보여주며, PSDDs는 원래 변수가 아닌 보완 변수에 간섭할 경우에만 제한된 원인 의미론을 허용한다.

ABSTRACT

In recent years, there has been an increasing interest in studying causality-related properties in machine learning models generally, and in generative models in particular. While that is well motivated, it inherits the fundamental computational hardness of probabilistic inference, making exact reasoning intractable. Probabilistic tractable models have also recently emerged, which guarantee that conditional marginals can be computed in time linear in the size of the model, where the model is usually learned from data. Although initially limited to low tree-width models, recent tractable models such as sum product networks (SPNs) and probabilistic sentential decision diagrams (PSDDs) exploit efficient function representations and also capture high tree-width models. In this paper, we ask the following technical question: can we use the distributions represented or learned by these models to perform causal queries, such as reasoning about interventions and counterfactuals? By appealing to some existing ideas on transforming such models to Bayesian networks, we answer mostly in the negative. We show that when transforming SPNs to a causal graph interventional reasoning reduces to computing marginal distributions; in other words, only trivial causal reasoning is possible. For PSDDs the situation is only slightly better. We first provide an algorithm for constructing a causal graph from a PSDD, which introduces augmented variables. Intervening on the original variables, once again, reduces to marginal distributions, but when intervening on the augmented variables, a deterministic but nonetheless causal-semantics can be provided for PSDDs.

연구 동기 및 목표

• 처리 가능한 확률 모델, 예를 들어 SPNs와 PSDDs가 표준 확률 조건화를 넘어서 원인 추론을 지원할 수 있는지 평가하기.
• 이러한 모델들을 원인 그래프로 변환할 때의 제약 사항을 간섭 및 반대가정 추론을 위해 조사하기.
• SPNs와 PSDDs의 구조적 및 확률적 성질이 간섭 및 반대가정 질의에서 의미 있는 원인 의미론을 허용하는지 결정하기.
• PSDDs의 논리적 구조 덕분에 보완 변수를 통해 비트리비얼 원인 추론을 확장할 수 있는지 탐색하기.
• 계산적 이점과 내재된 구조적 제약 조건을 감안할 때 처리 가능한 모델이 원인 추론의 기초로 사용될 수 있는지 평가하기.

제안 방법

• 간섭의 표현력을 분석하기 위해 SPNs에서 베이지안 네트워크(BNs)로의 변환을 적응하여, 간섭이 마진 분포로 축소됨을 보여줌.
• 논리적 의존성을 코딩하기 위해 보완 변수를 도입하여 PSDD에서 구조적 원인 모델(SCM)을 구성하는 알고리즘 제안.
• 구축된 SCMs를 사용하여 do-계산법 질의인 Pr(y|do(x)) 및 Pr(y|do(x), x*)를 계산하여 간섭 의미론 분석.
• 네트워크 다항식과 산술 회로 의미론을 사용하여 조건부 및 간섭 분포를 효율적으로 계산.
• 보완 변수에 간섭했을 때 반대가정 분포를 조건부 및 마진 분포와 비교하여 PSDDs에서 비트리비얼 원인 의미론이 어떻게 나타나는지 설명.
• 특히 PSDDs에서의 소음 부재 및 구조적 이상을 평가하여 원인 그래프의 해석 가능성과 유용성 평가.

실험 결과

연구 질문

• RQ1 처리 가능한 확률 모델인 SPNs와 PSDDs가 간섭 및 반대가정과 같은 비트리비얼 원인 추론을 지원할 수 있는가?
• RQ2 SPNs를 베이지안 네트워크로 변환할 때 간섭 질의에 대해 원인 의미론이 얼마나 유지되는가?
• RQ3 원래 변수에 간섭할 경우 PSDDs가 원인 의미론을 지원할 수 있는가, 아니면 모델 구축 중에 도입된 보완 변수에만 가능한가?
• RQ4 SPNs가 원인 관계를 표현하지 못하는 이유는 무엇이며, 이러한 제약의 근본적인 구조적 특성(예: 잠재 요소 의존성)은 무엇인가?
• RQ5 PSDD에서 의미 있는 반대가정 추론을 지원하는 원인 그래프를 구성할 수 있는가, 그리고 표준 원인 모델과 비교해보면 어떻게 되는가?

주요 결과

• SPNs에서 원래 변수에 간섭하면 마진 분포 계산으로 축소되며, 이는 SPNs가 비트리비얼 원인 추론을 지원하지 못함을 시사한다.
• PSDDs에서 원래 변수에 간섭할 경우에도 마진화로 축소되어 SPNs와 동일한 방식으로 원인 표현력이 제한된다.
• PSDDs에서 보완 변수에 간섭할 경우 결정론적이지만 의미 있는 원인 의미론이 나타나며, 이는 비트리비얼 반대가정 추론을 가능하게 한다.
• 반대가정 확률 Pr(X₉=1|do(A=1), X₉=0)는 약 0.13로 계산되었으며, 이는 조건부 확률 Pr(X₉|A=1)와 마진 확률 Pr(X₉)와의 상당한 차이를 보였다.
• PSDDs의 결과 원인 그래프는 소음 변수가 없어 구조적으로 이국적이며, 그 해석 가능성과 현실성에 대한 우려를 제기한다.
• SPNs는 모든 상관관계를 잠재 요소에 기인시켜야 하며, PSDDs는 상관관계를 잠재 요소에 기인시키지 않아 원인 표현력 측면에서 서로 반대편에 위치한다.