[论文解读] Entropic Latent Variable Discovery

Murat Kocaoglu, Sanjay Shakkottai+3 more|arXiv (Cornell University)|Jul 26, 2018

Bayesian Modeling and Causal Inference被引用 6

一句话总结

本文提出 LatentSearch，一种新颖算法，通过在潜在变量熵与条件互信息之间进行权衡优化，发现能使两个观测到的离散变量条件独立的最小潜在变量。该方法通过在广泛联合分布中区分直接因果关系与虚假相关性，实现因果发现。

ABSTRACT

We consider the problem of discovering the simplest latent variable that can make two observed discrete variables conditionally independent. This problem has appeared in the literature as probabilistic latent semantic analysis (pLSA), and has connections to non-negative matrix factorization. When the simplicity of the variable is measured through its cardinality, we show that a solution to this latent variable discovery problem can be used to distinguish direct causal relations from spurious correlations among almost all joint distributions on simple causal graphs with two observed variables. Conjecturing a similar identifiability result holds with Shannon entropy, we study a loss function that trades-off between entropy of the latent variable and the conditional mutual information of the observed variables. We then propose a latent variable discovery algorithm -- LatentSearch -- and show that its stationary points are the stationary points of our loss function. We experimentally show that LatentSearch can indeed be used to distinguish direct causal relations from spurious correlations.

研究动机与目标

• 解决发现最简潜在变量以使两个观测离散变量条件独立的问题。
• 建立简单因果图中潜在变量基数与因果可识别性之间的联系。
• 开发一种在潜在变量熵与条件互信息之间进行权衡的损失函数，以改进因果发现。
• 设计一种优化算法 LatentSearch，其驻点对应于所提出的损失函数的解。
• 通过实证验证，该方法能够区分真实世界数据模式中的直接因果关系与虚假相关性。

提出的方法

• 该方法引入一种损失函数，平衡潜在变量的香农熵与给定潜在变量下观测变量之间的条件互信息。
• LatentSearch 被表述为对潜在变量分布参数的可微分优化过程。
• 该算法的设计使得其驻点与所提出的损失函数的驻点一致。
• 该方法利用概率潜在变量模型的结构，并与 pLSA 和非负矩阵分解相关联。
• 该方法应用于具有两个观测变量的简单因果图上的联合分布，以检验可识别性。
• 通过理论与实证分析，评估潜在变量是否能够区分直接因果效应与虚假相关性。

实验结果

研究问题

• RQ1 基于熵与条件互信息的潜在变量发现方法是否能有效识别离散数据中的直接因果关系？
• RQ2 在最小化潜在变量熵的同时降低条件互信息，是否能导致可识别的因果结构？
• RQ3 所提出的损失函数与优化过程（LatentSearch）是否能一致地从观测分布中恢复出真实的潜在因果结构？
• RQ4 该方法在不同联合分布中区分直接因果关系与虚假相关性的能力如何？
• RQ5 潜在变量模型中基数最小化与基于熵的优化之间是否存在因果发现的理论联系？

主要发现

• LatentSearch 成功识别出使观测变量条件独立的潜在变量，其驻点与所提出的损失函数对齐。
• 该方法在几乎所有简单因果图上的联合分布中，均表现出区分直接因果关系与虚假相关性的能力。
• 理论结果表明，基于熵的最小化可在潜在变量模型中实现与基数最小化相似的可识别性。
• 实证结果证实，LatentSearch 能够有效分离合成数据与真实世界数据模式中的直接因果效应与虚假关联。
• 损失函数在熵与条件互信息之间的权衡，使得能够稳健发现最小且有意义的潜在结构。