[论文解读] Generalized Matrix Factorization: efficient algorithms for fitting generalized linear latent variable models to large data arrays

Łukasz Kidziński, Francis K. C. Hui+2 more|arXiv (Cornell University)|Oct 6, 2020

Gene expression and cancer classification被引用 8

一句话总结

本文提出了一种计算高效的算法，用于使用惩罚似然估计（PQL）和牛顿-拉夫森/费舍尔评分优化方法，对大规模、高维数据阵列拟合广义线性潜变量模型（GLLVMs）。该方法实现了对非高斯数据（如计数或二值响应）中潜因子的快速、可扩展估计，展示了数量级的加速效果，并成功应用于一个48,000×2,000的物种丰度数据集，仅少数主导因子即可解释大部分变异。

ABSTRACT

Unmeasured or latent variables are often the cause of correlations between multivariate measurements, which are studied in a variety of fields such as psychology, ecology, and medicine. For Gaussian measurements, there are classical tools such as factor analysis or principal component analysis with a well-established theory and fast algorithms. Generalized Linear Latent Variable models (GLLVMs) generalize such factor models to non-Gaussian responses. However, current algorithms for estimating model parameters in GLLVMs require intensive computation and do not scale to large datasets with thousands of observational units or responses. In this article, we propose a new approach for fitting GLLVMs to high-dimensional datasets, based on approximating the model using penalized quasi-likelihood and then using a Newton method and Fisher scoring to learn the model parameters. Computationally, our method is noticeably faster and more stable, enabling GLLVM fits to much larger matrices than previously possible. We apply our method on a dataset of 48,000 observational units with over 2,000 observed species in each unit and find that most of the variability can be explained with a handful of factors. We publish an easy-to-use implementation of our proposed fitting algorithm.

研究动机与目标

• 解决现有GLLVM估计方法在大规模、高维数据集（含数千个观测单位或响应变量）中计算不可行的问题。
• 开发一种快速、稳定且可扩展的算法，用于使用近似似然方法对非高斯数据拟合GLLVMs。
• 使GLLVM在生态学、基因组学和行为学研究等高维多变量响应常见的领域中具备实际应用可行性。
• 为计算效率提供一种替代贝叶斯和拉普拉斯方法的方案，后者在大规模数据集上过于缓慢。
• 通过交叉验证和正则化支持模型选择，重点关注预测性能和计算可行性。

提出的方法

• 该方法使用惩罚似然估计（PQL）近似GLLVM的边际似然，避免对潜变量进行难以处理的积分。
• 采用牛顿-拉夫森方法结合费舍尔评分迭代优化PQL近似，确保快速收敛和数值稳定性。
• 该方法利用现有的广义线性模型（GLM）工具，便于实现并集成到标准统计工作流中。
• 该算法设计为可并行化，可通过Apache Spark等现代框架在多台机器上扩展，提升可扩展性。
• 通过20折交叉验证选择模型复杂度，使用样本外偏差作为指标，采用两种策略：对潜因子精度进行平滑正则化，以及对因子数量施加秩约束。
• 该方法使用核范数正则化，以在潜因子矩阵中鼓励低秩结构，从而提升模型的简洁性和可解释性。

实验结果

研究问题

• RQ1 基于PQL的方法能否在大规模、高维数据集且响应变量为非高斯分布时，实现快速且稳定的GLLVM估计？
• RQ2 与最先进的拉普拉斯或MCMC方法相比，基于PQL的GLLVM估计在速度和准确性方面表现如何？
• RQ3 在大规模数据集中，通过交叉验证结合平滑正则化或秩约束能否可靠地选择最优潜因子数量和精度参数？
• RQ4 该方法在实际数据集（含数万个观测单位和数千个响应变量）上能实现多大程度的可扩展性？
• RQ5 尽管已知存在有限样本偏差，PQL近似在预测建模中是否仍能保持足够的准确性？

主要发现

• 所提出的基于PQL的方法相较于现有最先进的GLLVM估计算法实现了数量级的加速，使以往计算上不可行的数据集分析成为可能。
• 在n=m=100且p=2的模拟研究中，平滑正则化与秩约束模型选择的平均偏差几乎相同（1.272 vs. 1.279），表明交叉验证框架具有鲁棒性和可靠性。
• 该方法成功拟合了一个包含48,000个观测单位和2,000多个物种的真实生态数据集，仅少数潜因子即可解释大部分变异。
• 该算法易于并行化，可使用标准GLM工具实现，且已发布开源R包（gmf），便于集成到现有工作流中。
• 平滑正则化使奇异值随γ增加单调递减，而秩约束模型在逐步增加因子时保持奇异值稳定，证实了该方法对模型复杂度的敏感性。
• 该方法在保留样本数据上表现出优异的预测性能，样本外偏差较低，验证了其在大规模推断与预测中的实用性。