[论文解读] Automated extraction of mutual independence patterns using Bayesian comparison of partition models

Guillaume Marrelec, Alain Giron|arXiv (Cornell University)|Jan 15, 2020

Bayesian Methods and Mixture Models参考文献 62被引用 3

一句话总结

本文提出了一种贝叶斯框架，用于通过将问题视为变量分组的模型比较，实现变量间相互独立模式的自动化、数据驱动发现。利用马尔可夫链蒙特卡洛（MCMC）采样，该方法能高效探索所有可能的独立结构空间，为似然比检验和最小分歧信息准则等经典检验提供原则性的推广，并在合成数据和真实世界数据上表现出色。

ABSTRACT

Mutual independence is a key concept in statistics that characterizes the structural relationships between variables. Existing methods to investigate mutual independence rely on the definition of two competing models, one being nested into the other and used to generate a null distribution for a statistic of interest, usually under the asymptotic assumption of large sample size. As such, these methods have a very restricted scope of application. In the present manuscript, we propose to change the investigation of mutual independence from a hypothesis-driven task that can only be applied in very specific cases to a blind and automated search within patterns of mutual independence. To this end, we treat the issue as one of model comparison that we solve in a Bayesian framework. We show the relationship between such an approach and existing methods in the case of multivariate normal distributions as well as cross-classified multinomial distributions. We propose a general Markov chain Monte Carlo (MCMC) algorithm to numerically approximate the posterior distribution on the space of all patterns of mutual independence. The relevance of the method is demonstrated on synthetic data as well as two real datasets, showing the unique insight provided by this approach.

研究动机与目标

• 将相互独立性检测从假设驱动的检验转变为对所有可能独立模式的无偏、自动化搜索。
• 开发一种通用的贝叶斯框架，实现对变量所有可能分组结构的完整概率推断。
• 克服经典方法依赖嵌套模型和渐近近似所带来的局限性。
• 提供一种可扩展且灵活的方法，适用于多元正态分布和离散（多项式）分布。
• 实现对经典方法常遗漏的复杂、稀疏独立结构的识别。

提出的方法

• 将相互独立模式视为D个变量的分组，建立分组与独立结构之间的一一对应关系。
• 使用贝叶斯模型比较计算在给定数据条件下每个分组（即每种独立模式）的后验概率。
• 推导后验对数的渐近近似，使其与既定准则一致：BIC、似然比和最小分歧信息。
• 提出一种通用的MCMC算法，结合吉布斯采样与并行退火，以高效探索所有分组的空间。
• 将该方法应用于多元正态分布和交叉分类的多项分布，表明其在理论上与现有方法保持一致。
• 采用数值近似方法计算边缘似然，以在闭式解不可行时实现后验推断。

实验结果

研究问题

• RQ1 如何在不预先假设潜在结构的前提下，完全自动化、数据驱动地发现相互独立模式？
• RQ2 该贝叶斯分组比较框架在多大程度上推广了似然比和最小分歧信息等经典独立性检验？
• RQ3 该方法在识别稀疏独立结构方面表现如何，尤其是在样本量有限的情况下？
• RQ4 该方法能否在高维或非正态数据（如多元t分布）中有效恢复真实的独立模式？
• RQ5 在所有可能独立模式空间上，最有效的后验分布表示与解释方式是什么？

主要发现

• 该贝叶斯框架在合成数据中成功恢复了已知的独立模式，即使在复杂且稀疏的配置下也表现出高精度。
• 在多元正态和多项式模型的渐近情形下，该方法与经典准则（BIC、似然比、最小分歧信息）表现出强烈一致性。
• 结合并行退火的MCMC采样能够有效探索组合上庞大的分组空间，即使在中等D值下也表现良好。
• 该方法在检测非平凡、非嵌套的独立结构方面优于传统方法，而这些结构是经典检验无法处理的。
• 对于多元t分布数据，该方法保持稳健，但BIC近似显示出更高的变异性与偏差，表明仍需进一步优化。
• 研究强调了在D > 4时对分组空间上的后验分布进行表示的挑战，并呼吁开发新的可视化技术以提升可解释性。