[论文解读] Identifying Finite Mixtures of Nonparametric Product Distributions and Causal Inference of Confounders

Eleni Sgouritsa, Dominik Janzing+2 more|arXiv (Cornell University)|Sep 26, 2013

Bayesian Methods and Mixture Models参考文献 25被引用 8

一句话总结

该论文提出一种基于核方法的有限混合非参数乘积分布识别方法，利用希尔伯特空间嵌入技术，通过构造张量的秩来揭示成分数量。该方法通过聚类数据以恢复潜在混杂因子，实现因果推断，为观测数据中的混杂因子识别提供非参数解法。

ABSTRACT

We propose a kernel method to identify finite mixtures of nonparametric product distributions. It is based on a Hilbert space embedding of the joint distribution. The rank of the constructed tensor is equal to the number of mixture components. We present an algorithm to recover the components by partitioning the data points into clusters such that the variables are jointly conditionally independent given the cluster. This method can be used to identify finite confounders.

研究动机与目标

• 开发一种无需假设参数形式的非参数方法，以识别有限混合的乘积分布。
• 通过从观测数据中恢复潜在成分，解决因果推断中未观测混杂因子的挑战。
• 提出一种通过希尔伯特空间中张量秩分解来识别混合成分数量的方法。
• 通过检测在给定成分下变量条件独立的聚类，实现因果推断。
• 利用核技术将现有混杂因子识别方法扩展至非参数、高维设置。

提出的方法

• 使用核方法将观测变量的联合分布嵌入希尔伯特空间，以实现非参数分析。
• 从核嵌入的联合分布构造一个张量，其秩对应于混合成分的数量。
• 使用张量分解来估计成分数量并恢复底层的乘积分布。
• 基于张量分解对数据点进行聚类，以识别变量在给定成分下条件独立的成分。
• 利用每个聚类内部的条件独立性推断潜在混杂因子的存在。
• 利用希尔伯特空间嵌入的结构，避免对成分分布施加强参数假设。

实验结果

研究问题

• RQ1 在不假设成分参数形式的前提下，能否识别有限混合的非参数乘积分布？
• RQ2 如何利用基于核的希尔伯特空间嵌入一致估计混合成分的数量？
• RQ3 在利用聚类内条件独立性时，能在多大程度上从观测数据中恢复潜在混杂因子？
• RQ4 在传统参数模型因模型误设而失效的情况下，该方法能否识别混杂因子？
• RQ5 核嵌入联合分布的张量秩与潜在混合成分数量之间有何关系？

主要发现

• 在希尔伯特空间中构造的张量的秩恰好等于混合成分的数量，从而实现对成分数量的一致估计。
• 通过基于成分内条件独立性的数据点聚类，该方法成功恢复了底层的乘积分布。
• 通过检测在给定成分归属下变量条件独立的聚类，该方法识别出潜在混杂因子。
• 该框架为非参数方法，无需对成分分布施加参数假设，增强了鲁棒性。
• 该方法适用于高维数据，并为存在未观测混杂因子时的因果推断提供了基础。
• 论文中的实证结果表明，该方法在合成数据和真实世界数据设置中均能有效恢复混合成分和混杂因子结构。