[论文解读] Bayesian and L1 Approaches to Sparse Unsupervised Learning

Shakir Mohamed, Katherine Heller+1 more|arXiv (Cornell University)|Jun 6, 2011

Sparse and Compressive Sensing Techniques参考文献 28被引用 30

一句话总结

本文提出了一种脉冲与薄片贝叶斯因子模型，作为稀疏无监督学习中L1正则化的一种更优替代方案。通过使用离散混合先验，结合零点处的点质量（脉冲）和连续分布（薄片），该方法在保持非零参数值的同时实现稀疏性，即使在固定计算预算下，其在保留数据上的预测性能也显著优于L1和连续先验贝叶斯方法。

ABSTRACT

The use of L1 regularisation for sparse learning has generated immense research interest, with successful application in such diverse areas as signal acquisition, image coding, genomics and collaborative filtering. While existing work highlights the many advantages of L1 methods, in this paper we find that L1 regularisation often dramatically underperforms in terms of predictive performance when compared with other methods for inferring sparsity. We focus on unsupervised latent variable models, and develop L1 minimising factor models, Bayesian variants of "L1", and Bayesian models with a stronger L0-like sparsity induced through spike-and-slab distributions. These spike-and-slab Bayesian factor models encourage sparsity while accounting for uncertainty in a principled manner and avoiding unnecessary shrinkage of non-zero values. We demonstrate on a number of data sets that in practice spike-and-slab Bayesian methods outperform L1 minimisation, even on a computational budget. We thus highlight the need to re-assess the wide use of L1 methods in sparsity-reliant applications, particularly when we care about generalising to previously unseen data, and provide an alternative that, over many varying conditions, provides improved generalisation performance.

研究动机与目标

• 批判性评估L1正则化在稀疏无监督学习中的表现，特别是其尽管被广泛使用却仍存在性能不足的问题。
• 提出一种基于脉冲与薄片先验的原理性贝叶斯稀疏方法，以更准确地逼近难以处理的L0范数。
• 在一系列无监督学习任务中，对比三种方法——L1优化、具有连续稀疏诱导先验的贝叶斯方法，以及脉冲与薄片贝叶斯模型。
• 证明脉冲与薄片模型在高维或稀疏数据环境下，能实现更优的泛化能力和重构精度。
• 提供一种适用于通用潜变量模型的高效MCMC推理算法。

提出的方法

• 提出一种广义潜变量模型框架，将因子分析扩展至指数族分布，从而能够对非高斯和异质性数据进行建模。
• 引入脉冲与薄片先验作为离散混合：零点处的点质量（脉冲）与连续分布（薄片）相结合，实现强稀疏性同时保留非零参数估计值。
• 开发了脉冲与薄片模型的完整马尔可夫链蒙特卡洛（MCMC）推理算法，相较于朴素采样方法显著提升了效率。
• 将该方法应用于无监督矩阵分解问题，包括高斯分布、二值数据和计数数据，采用共轭指数族先验。
• 在受控设置和固定时间预算下，对比L1最小化、连续先验贝叶斯模型与脉冲与薄片贝叶斯模型的性能表现。
• 通过边际似然和交叉验证进行模型选择以调整超参数，避免L1方法中常见的过拟合问题。

实验结果

研究问题

• RQ1 L1正则化是否在未见数据的预测性能上始终优于使用脉冲与薄片先验的贝叶斯方法？
• RQ2 与L1和连续先验贝叶斯方法相比，脉冲与薄片先验是否能更好地捕捉高维数据中的真实稀疏结构？
• RQ3 当两者均受固定时间预算约束时，基于MCMC的脉冲与薄片推理的计算成本与L1优化相比如何？
• RQ4 脉冲与薄片模型在多大程度上避免了L1和连续先验贝叶斯方法中常见的关键参数过度收缩问题？
• RQ5 在何种场景下，脉冲与薄片方法表现出对数据稀疏性和高维性的鲁棒性？

主要发现

• 脉冲与薄片贝叶斯模型在包括文本、图像和基因组数据在内的多样化数据集上，始终在保留数据的预测性能上优于L1正则化和连续先验贝叶斯方法。
• 在HapMap数据集上，脉冲与薄片模型在较高因子维度（K）下显著优于L1方法，表现出对稀疏性的更强鲁棒性。
• 即使在计算时间预算与L1收敛时间相匹配的条件下，脉冲与薄片MCMC仍能产生比L1更优的重构结果，表明其在单位时间内信息获取效率更高。
• L1方法常因全局收缩而抑制与数据生成相关的非零参数，导致重构结果过度稀疏，从而造成性能下降。
• 脉冲与薄片模型通过同时实现全局与局部收缩，避免了该问题，从而在保持稀疏性的同时保留了重要参数值。
• 在重构中，非零参数的数量在脉冲与薄片模型下更接近真实稀疏水平，例如在newsgroups数据中为1436个非零值，与真实稀疏水平高度一致，而L1方法则未能恢复该结构。