[论文解读] Flexible sampling of discrete data correlations without the marginal distributions

Freddie Kalaitzis, Ricardo Silva|arXiv (Cornell University)|Jun 11, 2013

Markov Chains and Monte Carlo Methods参考文献 15被引用 6

一句话总结

该论文提出了一种新颖的哈密顿蒙特卡洛（HMC）算法，用于在不建模边缘分布的情况下，对具有离散数据的高斯互换相关模型实现高效的贝叶斯推断。通过在潜在高斯变量上应用约束HMC，该方法在高维设置下具有复杂依赖结构时，相比现有方法（如参数扩展，PX），实现了更快的混合速度和更优的后验探索。

ABSTRACT

Learning the joint dependence of discrete variables is a fundamental problem in machine learning, with many applications including prediction, clustering and dimensionality reduction. More recently, the framework of copula modeling has gained popularity due to its modular parametrization of joint distributions. Among other properties, copulas provide a recipe for combining flexible models for univariate marginal distributions with parametric families suitable for potentially high dimensional dependence structures. More radically, the extended rank likelihood approach of Hoff (2007) bypasses learning marginal models completely when such information is ancillary to the learning task at hand as in, e.g., standard dimensionality reduction problems or copula parameter estimation. The main idea is to represent data by their observable rank statistics, ignoring any other information from the marginals. Inference is typically done in a Bayesian framework with Gaussian copulas, and it is complicated by the fact this implies sampling within a space where the number of constraints increases quadratically with the number of data points. The result is slow mixing when using off-the-shelf Gibbs sampling. We present an efficient algorithm based on recent advances on constrained Hamiltonian Markov chain Monte Carlo that is simple to implement and does not require paying for a quadratic cost in sample size.

研究动机与目标

• 解决标准MCMC方法在高维离散互换相关模型中计算效率低下的问题，其中采样成本随数据规模呈二次方增长。
• 在无需显式建模边缘分布的前提下，实现对离散数据相关性的灵活、合理贝叶斯推断。
• 开发一种可扩展的MCMC算法，提升在约束潜变量空间中的后验探索与混合性能。
• 提供一种实用且可靠的参数扩展（PX）方法替代方案，后者常无法充分探索后验分布的全部范围。
• 在因子建模、降维和聚类等应用中，支持对离散数据的准确不确定性量化。

提出的方法

• 该方法在离散数据背后的潜变量上应用哈密顿蒙特卡洛（HMC），并施加约束以保持观测到的秩次序结构。
• 采用约束HMC框架，尊重由离散数据引发的排序约束，从而无需显式建模边缘分布。
• 该算法将潜变量Z与互换相关矩阵C联合采样，采用联合采样方案以提升混合性能。
• 利用霍夫包络算法和约束矩阵F，高效处理由离散数据引发的非线性约束。
• 该方法避免使用参数扩展（PX），转而采用交错的吉布斯与HMC步骤，更有效地探索约束空间。
• 该方法设计高效可扩展，避免了标准吉布斯采样器在此类问题中因样本规模导致的二次方计算成本。

实验结果

研究问题

• RQ1 能否有效将HMC适配于在不显式建模边缘分布的前提下，从具有离散数据的高斯互换相关模型后验分布中进行采样？
• RQ2 与参数扩展（PX）相比，所提出的约束HMC方法在混合性能和后验探索方面表现如何？
• RQ3 该新算法是否在高维离散依赖结构中实现更快收敛并获得更优的不确定性量化？
• RQ4 约束HMC方法对低秩因子模型中重构相关矩阵的准确性有何影响？
• RQ5 该方法能否可靠检测出PX方法可能掩盖的后验探索不足问题，后者常因可信区间过于自信而被忽略？

主要发现

• 在迭代次数和CPU时间上，所提出的HMC方法在高维设置下均显著快于PX方法达到后验众数。
• PX的后验样本集中于众数附近狭窄区域，表明对真实后验分布的探索严重不足。
• HMC展现出更广的后验覆盖范围和更薄的尾部，表明其不确定性量化比PX更可靠。
• 即使经过10,000次迭代，PX仍未能充分探索后验空间，而HMC仍能有效覆盖整个分布。
• 结果与拉弗德·尼尔（Radford Neal）所描述的问题一致：某方法可能看似收敛，实则未能探索真实后验，导致推断过于自信。
• 本研究呼吁从业者重新评估以往基于PX的研究工作，因为可信区间可能因混合性能差而系统性地过于自信。