[논문 리뷰] Applications of Common Entropy for Causal Inference

Murat Kocaoglu, Sanjay Shakkottai외 3명|arXiv (Cornell University)|2018. 07. 26.

Bayesian Modeling and Causal Inference인용 수 9

한 줄 요약

이 논문은 인과 추론을 위한 도구로 Rényi 공통 엔트로피를 도입하며, 잠재 변수의 엔트로피를 최소화하면서도 관측 변수 간 조건부 독립을 보장하는 반복 알고리즘을 제안한다. 낮은 엔트로피를 가진 잠재 공변인은 인과 그래프와 우연적 상관관계를 구별할 수 있으며, 소표본 환경에서 제약 기반 인과 추론을 향상시킬 수 있음을 보여준다.

ABSTRACT

We study the problem of discovering the simplest latent variable that can make two observed discrete variables conditionally independent. The minimum entropy required for such a latent is known as common entropy in information theory. We extend this notion to Renyi common entropy by minimizing the Renyi entropy of the latent variable. To efficiently compute common entropy, we propose an iterative algorithm that can be used to discover the trade-off between the entropy of the latent variable and the conditional mutual information of the observed variables. We show two applications of common entropy in causal inference: First, under the assumption that there are no low-entropy mediators, it can be used to distinguish causation from spurious correlation among almost all joint distributions on simple causal graphs with two observed variables. Second, common entropy can be used to improve constraint-based methods such as PC or FCI algorithms in the small-sample regime, where these methods are known to struggle. We propose a modification to these constraint-based methods to assess if a separating set found by these algorithms is valid using common entropy. We finally evaluate our algorithms on synthetic and real data to establish their performance.

연구 동기 및 목표

• 관측 데이터에서 인과관계와 우연적 상관관계를 구별하는 데 어려움이 있는 상황에서, 잠재 변수의 복잡도를 기준으로 문제를 해결하고자 한다.
• 두 관측 변수가 조건부 독립이 되게 하는 잠재 변수의 엔트로피를 최소화하는 효율적인 Rényi 공통 엔트로피 계산 알고리즘을 개발하고자 한다.
• 소표본 조건에서 제약 기반 인과 추론 방법(예: PC 및 FCI)의 강건성을 높이기 위해 공통 엔트로피를 활용해 분리 집합을 검증하고자 한다.
• 제안된 방법을 시뮬레이션 및 실세계 데이터에서 평가하여, 경사 하강법, EM, NMF에 비해 잠재 변수 탐지에서 뛰어난 성능을 보임을 입증하고자 한다.

제안 방법

• 잠재 변수 복잡도 측정으로서 Rényi 공통 엔트로피를 제안하며, X와 Y가 조건부 독립이 되게 하는 잠재 변수 Z의 Rényi 엔트로피를 최소화한다.
• 공통 엔트로피를 계산하기 위한 반복 알고리즘을 개발하였으며, 약 200회 반복 내에 수렴하여 경사 하강법(350,000회 반복)보다 훨씬 빠르게 작동한다.
• 일정한 스텝 크기를 사용하는 반복 업데이트 규칙을 적용하여, 속도와 수렴 품질 측면에서 경사 하강법을 뛰어넘는 성능을 달성한다.
• 제약 기반 알고리즘(PC, FCI 등)에서 분리 집합을 검증하기 위해 공통 엔트로피를 적용하여, 소표본 환경에서의 성능 향상을 이룬다.
• 반복 알고리즘을 EM 및 NMF와 비교하여, EM은 잠재 엔트로피를 증가시키고 해를 악화시키며, 초기 공통 엔트로피 결과를 향상시키지 못함을 보였다.
• 조건부 상호정보량 I(X;Y|Z)와 H(Z)를 균형 잡는 손실 함수를 사용하며, I-H 평면을 통해 수렴 여부를 모니터링한다.

실험 결과

연구 질문

• RQ1 Rényi 공통 엔트로피는 잠재 공변인을 가진 인과 그래프와 직접적 또는 매개 효과를 가진 그래프를 효과적으로 구별할 수 있는가?
• RQ2 낮은 엔트로피를 가진 잠재 공변인이 이원 변수 시스템에서 인과관계를 우연적 상관관계와 신뢰성 있게 구별하는 데 기여하는가?
• RQ3 공통 엔트로피는 소표본 설정에서 제약 기반 인과 추론 알고리즘의 성능을 향상시킬 수 있는가?
• RQ4 제안된 반복 알고리즘은 경사 하강법, EM, NMF에 비해 수렴 속도와 해의 품질 측면에서 어떻게 비교되는가?
• RQ5 잠재 변수 모델에서 잠재 변수 엔트로피와 조건부 상호정보량 사이의 근본적 트레이드오프는 무엇인가?

주요 결과

• 반복 알고리즘은 약 200회 반복 내에 수렴하며, 경사 하강법의 350,000회 반복 대비 40% 빠른 속도 향상을 보였다.
• 반복 방법은 경사 하강법보다 더 우수한 성능을 보였으며, 큰 스텝 크기에서는 수렴에 실패하고 작은 스텝 크기에서는 매우 느려지는 경향을 보였다.
• 반복 알고리즘의 출력에 EM을 적용하면 잠재 엔트로피가 증가하여 해가 악화되며, 초기 공통 엔트로피 결과를 향상시키지 못했다.
• NMF는 진정한 잠재 차원에 제약을 두었음에도 불구하고 엔트로피 및 조건부 상호정보량 측면에서 반복 알고리즘의 성능을 따라잡지 못했다.
• 반복 알고리즘은 $X \leftarrow Z \rightarrow Y$ 모델에서 진짜 잠재 엔트로피에 가까운 엔트로피를 가진 잠재 변수를 탐지하여, NMF 및 EM을 능가하는 성능을 보였다.
• 직접적인 인과 효과($X \rightarrow Y$)가 존재하는 상황에서도 반복 알고리즘은 NMF보다 더 낮은 엔트로피와 낮은 조건부 상호정보량을 달성하여 더 나은 잠재 요인을 발견했다.