[논문 리뷰] Entropic Latent Variable Discovery

Murat Kocaoglu, Sanjay Shakkottai외 3명|arXiv (Cornell University)|2018. 07. 26.

Bayesian Modeling and Causal Inference인용 수 6

한 줄 요약

이 논문은 잠재 변수의 엔트로피와 조건부 상호정보량 사이의 트레이드오프를 최적화하여 두 관측된 이산 변수가 조건부 독립이 되게 하는 최소한의 잠재 변수를 발견하는 데 목적이 있는 새로운 알고리즘인 LatentSearch를 제안한다. 이 방법은 다양한 결합 분포에서 직접적인 인과 관계와 우연적 상관관계를 구별함으로써 인과 추론을 가능하게 한다.

ABSTRACT

We consider the problem of discovering the simplest latent variable that can make two observed discrete variables conditionally independent. This problem has appeared in the literature as probabilistic latent semantic analysis (pLSA), and has connections to non-negative matrix factorization. When the simplicity of the variable is measured through its cardinality, we show that a solution to this latent variable discovery problem can be used to distinguish direct causal relations from spurious correlations among almost all joint distributions on simple causal graphs with two observed variables. Conjecturing a similar identifiability result holds with Shannon entropy, we study a loss function that trades-off between entropy of the latent variable and the conditional mutual information of the observed variables. We then propose a latent variable discovery algorithm -- LatentSearch -- and show that its stationary points are the stationary points of our loss function. We experimentally show that LatentSearch can indeed be used to distinguish direct causal relations from spurious correlations.

연구 동기 및 목표

• 두 관측된 이산 변수가 조건부 독립이 되게 하는 가장 단순한 잠재 변수를 발견하는 문제를 다루는 것.
• 간단한 인과 그래프에서 잠재 변수의 기수와 인과 식별 가능성 사이의 관계를 설정하는 것.
• 잠재 변수의 엔트로피와 조건부 상호정보량 사이의 트레이드오프를 고려한 손실 함수를 개발하는 것.
• 정적점이 제안된 손실 함수의 해와 일치하는 최적화 알고리즘인 LatentSearch를 설계하는 것.
• 실제 데이터 패턴에서 이 방법이 직접적인 인과 관계와 우연적 상관관계를 효과적으로 구별할 수 있음을 경험적으로 검증하는 것.

제안 방법

• 잠재 변수의 샤논 엔트로피와 관측 변수들 간의 조건부 상호정보량을 균형 잡는 손실 함수를 도입하는 것.
• 잠재 변수 분포의 매개변수에 대한 미분 가능한 최적화 절차로 LatentSearch를 설정하는 것.
• 알고리즘이 제안된 손실 함수의 정적점과 일치하는 정적점에 도달하도록 설계하는 것.
• 확률적 잠재 변수 모델의 구조를 활용하고 pLSA 및 비음수 행렬 분해와 연결하는 것.
• 간단한 인과 그래프에서 두 관측 변수가 있는 결합 분포에 대해 식별 가능성 테스트를 수행하는 것.
• 이론적 및 경험적 분석을 통해 잠재 변수가 직접적인 인과 효과와 우연적 상관관계를 어떻게 구별할 수 있는지 평가하는 것.

실험 결과

연구 질문

• RQ1 엔트로피와 조건부 상호정보량을 기반으로 한 잠재 변수 발견 방법이 이산 데이터에서 직접적인 인과 관계를 효과적으로 식별할 수 있는가?
• RQ2 잠재 변수의 엔트로피를 최소화하면서 조건부 상호정보량을 줄이는 것이 식별 가능한 인과 구조를 도출하는 데 기여하는가?
• RQ3 제안된 손실 함수와 최적화 절차(LatentSearch)가 관측된 분포로부터 진정한 인과 구조를 일관되게 회복할 수 있는가?
• RQ4 다양한 결합 분포에 걸쳐 이 방법이 직접적인 인과 관계와 우연적 상관관계를 어느 정도 효과적으로 구별할 수 있는가?
• RQ5 기수 최소화와 엔트로피 기반 최적화 사이에 잠재 변수 모델에서 인과 추론을 위한 이론적 연결이 존재하는가?

주요 결과

• LatentSearch는 관측 변수들이 조건부 독립이 되게 하는 잠재 변수를 성공적으로 식별하였으며, 정적점이 제안된 손실 함수와 일치한다.
• 이 방법은 단순한 인과 그래프의 거의 모든 결합 분포에서 직접적인 인과 관계와 우연적 상관관계를 효과적으로 구별할 수 있음을 보여준다.
• 이론적 결과는 엔트로피 기반 최소화가 잠재 변수 모델에서 기수 최소화와 유사한 식별 가능성을 달성할 수 있음을 시사한다.
• 경험적 결과는 LatentSearch가 합성 및 실세계 데이터 패턴에서 직접적인 인과 효과와 우연적 연관성을 효과적으로 분리할 수 있음을 확인한다.
• 손실 함수의 엔트로피와 조건부 상호정보량 사이의 트레이드오프는 최소이면서도 의미 있는 잠재 구조를 안정적으로 발견하는 데 기여한다.