[논문 리뷰] Distinguishing Cause and Effect via Second Order Exponential Models

Dominik Janzing, Xiaohai Sun외 1명|ArXiv.org|2009. 10. 29.

Bayesian Modeling and Causal Inference참고 문헌 23인용 수 10

한 줄 요약

이 논문은 제2차 모멘트 제약 조건을 만족시키면서 조건부 엔트로피를 최대화하는 제2차 지수 모델을 사용하여 이산-연속 혼합 시스템에서 원인과 결과를 구분하는 인과 추론 방법을 제안한다. 이 방법은 더 매끄러운 조건부 밀도를 선호하고, 원인과 결과 간의 비일반적인 알고리즘적 의존성을 탐지함으로써, 이산 변수나 부분집합 제약 조건이 존재할 경우 마르코프 등가 그래프에서도 인과적 구조를 성공적으로 구분한다.

ABSTRACT

We propose a method to infer causal structures containing both discrete and continuous variables. The idea is to select causal hypotheses for which the conditional density of every variable, given its causes, becomes smooth. We define a family of smooth densities and conditional densities by second order exponential models, i.e., by maximizing conditional entropy subject to first and second statistical moments. If some of the variables take only values in proper subsets of R^n, these conditionals can induce different families of joint distributions even for Markov-equivalent graphs. We consider the case of one binary and one real-valued variable where the method can distinguish between cause and effect. Using this example, we describe that sometimes a causal hypothesis must be rejected because P(effect|cause) and P(cause) share algorithmic information (which is untypical if they are chosen independently). This way, our method is in the same spirit as faithfulness-based causal inference because it also rejects non-generic mutual adjustments among DAG-parameters.

연구 동기 및 목표

• 기존 방법이 종종 실패하는 이산 및 연속 변수를 동시에 포함하는 시스템에서 작동하는 인과 추론 방법을 개발하는 것.
• 신뢰성 기반 접근법의 한계를 보완하기 위해 원인과 결과 간의 비일반적인 의존성을 탐지하여 일반적인 통계적 독립성 가정을 위반하는 경우를 다루는 것.
• 더 매끄러운 조건부 밀도를 선호함으로써 마르코프 등가 인과 그래프 간의 선택을 체계적으로 수행하는 방법을 제공하는 것.
• 순수하게 연속 또는 이산 변수를 넘어서, 이산 변수가 조건부 밀도 가중치 집합에 유도하는 구조적 차이를 활용하여 인과 발견을 확장하는 것.
• 원인과 결과 간에 공유되는 알고리즘적 정보를 기반으로 한 기준을 정의하여, 독립성 하에 이러한 공유 정보가 비일반적인 경우 인과 가설을 기각하는 것.

제안 방법

• 이 방법은 제1차 및 제2차 모멘트 제약 조건 하에서 조건부 엔트로피를 최대화함으로써 제2차 지수 모델을 사용하여 조건부 밀도의 매개수 가중치 집합을 정의한다.
• 선형 및 비선형 항을 모두 포함하는 민감한 지수 가족을 사용하여 조건부 밀도 P(effect|cause)를 모델링함으로써 매끄러움과 복잡성 제어를 가능하게 한다.
• 이진 원인과 실수 값 결과에 대해, 모델은 평균과 분산의 이동을 포착하며, 조건부 밀도는 평균, 분산 및 비선형 왜곡 항과 같은 매개수에 따라 달라진다.
• 이 방법은 조건부 밀도의 매끄러움을 평가하고, 가장 규칙적이고 매끄러운 마르코프 커널을 생성하는 인과 방향을 선택한다.
• P(effect|cause)와 P(cause)는 인과적으로 연결되어 있지 않은 한 알고리즘적 정보를 공유하지 않아야 한다는 원리를 활용하여, 이러한 의존성이 비일반적인 경우 인과 가설을 기각한다.
• 이중 모달 혼합 모델에서 검증되었으며, 인과 방향(이진 원인 → 실수 값 결과)은 반대로 더 단순하고 매끄러운 조건부 밀도를 생성한다.

실험 결과

연구 질문

• RQ1 관측 데이터만을 사용하여 하나의 이산 변수와 하나의 연속 변수를 포함하는 시스템에서 인과 추론 방법이 원인과 결과를 구분할 수 있는가?
• RQ2 혼합 변수 시스템에서 조건부 밀도의 매끄러움을 기준으로 하여 한 인과 방향을 다른 인과 방향보다 선호할 수 있는가?
• RQ3 P(effect|cause)와 P(cause) 간의 비일반적인 알고리즘적 의존성이 비인과 가설을 기각하는 데 어떤 역할을 하는가?
• RQ4 마르코프 등가 그래프일지라도 제2차 지수 모델이 서로 다른 인과 방향에 대해 구분되는 공동 분포 가중치 집합을 생성할 수 있는가?
• RQ5 이산 또는 부분집합 제약 조건이 있는 변수의 존재는 순수하게 연속 모델이 실패하는 상황에서 인과 발견을 가능하게 하는가?

주요 결과

• 이진 변수가 실수 값 변수의 평균을 이동시킴으로써 결과를 유도하는 이중 모달 혼합 모델에서, 이 방법은 원인과 결과를 성공적으로 구분한다. 이 경우 조건부 밀도는 더 매끄럽다.
• 역인과 방향(결과 → 원인)은 더 복잡하고 매끄럽지 않은 조건부 밀도를 유도하며, 이는 매끄러움 기준에 의해 기각된다.
• P(effect|cause)와 P(cause) 간에 공유되는 비일반적인 알고리즘적 정보는 비인과 가설을 기각하는 데 사용되며, 이는 신뢰성 원칙과 일치하지만 혼합 변수 환경으로 확장된다.
• 인과 방향에서 조건부 밀도 P(y|x=1)는 네 점에서 선형 독립적인 스코어 함수를 가지며, 이는 모델의 식별 가능성(identifiability)을 확인한다.
• 이 방법은 마르코프 등가 그래프일지라도 이산 또는 부분집합 제약 조건이 있는 변수가 존재할 경우 서로 다른 공동 분포 가중치 집합을 유도함을 보여준다.
• 수치적 검증을 통해 조건부 밀도의 기울기 행렬이 전순위(full rank)임을 확인하였으며, 이는 모델이 인과 방향을 구분하는 데 능력을 지닌다는 것을 뒷받침한다.