[论文解读] A Unified Parallel Algorithm for Regularized Group PLS Scalable to Big Data

Pierre Lafaye de Micheaux, Benoît Liquet+1 more|arXiv (Cornell University)|Feb 23, 2017

Spectroscopy and Chemometric Analyses参考文献 44被引用 4

一句话总结

本文提出了一种统一的并行算法，用于正则化分组PLS，通过将稀疏和分组稀疏正则化整合到四种标准PLS变体（PLSC、PLS-A、PLLS-B、PLS-R）中，实现了对大规模数据的可扩展性。该方法利用基于SVD的优化和软阈值化，实现变量选择与计算效率，并提供了理论证明，同时在bigsgPLS包中实现了可扩展的R语言实现，适用于高维数据分析。

ABSTRACT

Partial Least Squares (PLS) methods have been heavily exploited to analyse the association between two blocs of data. These powerful approaches can be applied to data sets where the number of variables is greater than the number of observations and in presence of high collinearity between variables. Different sparse versions of PLS have been developed to integrate multiple data sets while simultaneously selecting the contributing variables. Sparse modelling is a key factor in obtaining better estimators and identifying associations between multiple data sets. The cornerstone of the sparsity version of PLS methods is the link between the SVD of a matrix (constructed from deflated versions of the original matrices of data) and least squares minimisation in linear regression. We present here an accurate description of the most popular PLS methods, alongside their mathematical proofs. A unified algorithm is proposed to perform all four types of PLS including their regularised versions. Various approaches to decrease the computation time are offered, and we show how the whole procedure can be scalable to big data sets.

研究动机与目标

• 将四种主要PLS方法——PLSC、PLS-A、PLS-B和PLS-R——统一到一个计算框架中。
• 通过引入稀疏和分组稀疏正则化，扩展这些方法，以在高维数据中实现更优的变量选择和可解释性。
• 开发一种可扩展的、可并行化的算法，能够处理具有大量变量和观测值的大规模数据。
• 为基于SVD的优化和PLS中的正则化提供完整的数学基础及证明。
• 在R语言中实现该算法，作为bigsgPLS包，用于基因组学、神经影像学及其他大规模数据应用中的实际使用。

提出的方法

• 采用统一的算法框架，通过迭代计算潜在分量，利用去偏数据矩阵的SVD实现。
• 应用软阈值化（软阈值化算子 $ g^{\textrm{soft}} $）以在分量权重中强制实现稀疏性，使用正则化参数 $ \lambda_1 $ 和 $ \lambda_2 $。
• 通过正交投影 $ \mathcal{P}_{\tilde{\boldsymbol{W}}_{\bullet h-1}^{\perp}} $ 推导调整后的权重 $ \tilde{\boldsymbol{w}}_h $，以保持各分量之间的正交性。
• 通过将软阈值化方法扩展至分组级变量选择，实现对整个变量组的选取，从而整合分组稀疏正则化。
• 使用Moore-Penrose广义逆矩阵和投影矩阵，确保在迭代去偏步骤中具有数值稳定性和正交性。
• 通过解耦分量级优化并利用适合分布式处理的矩阵运算，实现并行计算。

实验结果

研究问题

• RQ1 如何将四种主要PLS变体（PLSC、PLS-A、PLS-B、PLS-R）统一到一个带有正则化的单一算法框架中？
• RQ2 去偏矩阵的SVD与最小二乘最小化之间的数学关系是什么，从而在PLS中实现正则化？
• RQ3 如何系统性地将稀疏和分组稀疏正则化整合到PLS中，以改善变量选择和模型可解释性？
• RQ4 可采用哪些计算策略来将PLS算法扩展至高维、共线性及大规模样本数据集？
• RQ5 与现有稀疏PLS方法相比，该算法在模拟数据和真实世界数据上的计算效率和准确性表现如何？

主要发现

• 统一算法成功地将所有四种PLS变体及其正则化版本整合到一个连贯的数学框架中，推导过程一致。
• 在基于SVD的分量上应用软阈值化，可实现有效的变量选择，最优分量权重通过 $ \tilde{u}_i = g^{\textrm{soft}}((\boldsymbol{M}\boldsymbol{v})_i, \lambda_1) $ 推导得出。
• 通过迭代去偏和正交投影，该算法实现了计算可扩展性，能够高效处理大规模数据。
• 通过投影矩阵 $ \mathcal{P}_{\tilde{\boldsymbol{W}}_{\bullet h-1}^{\perp}} $ 维持分量的正交性，确保了稳定且可解释的分量提取。
• 在R包bigsgPLS中的实现支持并行计算，专为基因组学和神经影像学等实际应用场景设计。
• 在模拟数据上的实证评估证实，该方法能够有效恢复真实信号，并在稀疏性条件下优于标准PLS，在变量选择和预测准确性方面表现更优。