[论文解读] Deep Learning Partial Least Squares

Nicholas Polson, Vadim Sokolov+1 more|arXiv (Cornell University)|Jun 26, 2021

Spectroscopy and Chemometric Analyses参考文献 47被引用 6

一句话总结

本文提出深度学习偏最小二乘法（DL-PLS），一种将深度学习整合到偏最小二乘法（PLS）中的框架，实现非线性、可扩展且可解释的预测建模，并具备不确定性量化能力。通过基于SVD的特征提取，将Y-得分建模为X-得分的深度学习器，该方法在葡萄酒品质和橙汁偏好数据集上优于传统方法，展现出卓越的预测性能，并提供如碎石图和基于MCMC的贝叶斯不确定性等诊断工具。

ABSTRACT

High dimensional data reduction techniques are provided by using partial least squares within deep learning. Our framework provides a nonlinear extension of PLS together with a disciplined approach to feature selection and architecture design in deep learning. This leads to a statistical interpretation of deep learning that is tailor made for predictive problems. We can use the tools of PLS, such as scree-plot, bi-plot to provide model diagnostics. Posterior predictive uncertainty is available using MCMC methods at the last layer. Thus we achieve the best of both worlds: scalability and fast predictive rule construction together with uncertainty quantification. Our key construct is to employ deep learning within PLS by predicting the output scores as a deep learner of the input scores. As with PLS our X-scores are constructed using SVD and applied to both regression and classification problems and are fast and scalable. Following Frank and Friedman 1993, we provide a Bayesian shrinkage interpretation of our nonlinear predictor. We introduce a variety of new partial least squares models: PLS-ReLU, PLS-Autoencoder, PLS-Trees and PLS-GP. To illustrate our methodology, we use simulated examples and the analysis of preferences of orange juice and predicting wine quality as a function of input characteristics. We also illustrate Brillinger's estimation procedure to provide the feature selection and data dimension reduction. Finally, we conclude with directions for future research.

研究动机与目标

• 通过将深度学习整合到偏最小二乘法（PLS）中，弥合黑箱深度学习与可解释统计建模之间的差距。
• 提供一种具有特征选择、架构设计和模型诊断功能的统计可解释非线性PLS扩展。
• 通过在最后一层使用MCMC实现深度学习中的不确定性量化，结合可扩展性与统计严谨性。
• 将PLS扩展至新架构，包括PLS-ReLU、PLS-Autoencoder、PLS-Trees和PLS-GP，以适应多样化的预测任务。
• 通过变量扩展和Brillinger估计法，在真实世界数据集（如葡萄酒品质和橙汁偏好）上展示该框架的有效性。

提出的方法

• 对输入数据X进行SVD运算，计算X-得分（T），作为深度学习的低维特征。
• 将Y-得分（U）建模为X-得分（T）的深度神经网络（G_L），在保留PLS降维能力的同时实现非线性预测。
• 基于Stein引理的Brillinger估计程序，从数据中恢复非线性激活函数（如ReLU、tanh）。
• 在最后一层使用MCMC方法获得后验预测不确定性，实现在深度学习中的统计推断。
• 在应用PLS前，通过变量扩展（如二次项和交互项）增强非线性建模能力。
• 引入新型PLS变体：PLS-ReLU（ReLU激活）、PLS-Autoencoder（去噪自编码器）、PLS-Trees（基于树的模型）和PLS-GP（高斯过程），以实现灵活建模。

实验结果

研究问题

• RQ1 能否系统性地将深度学习整合到偏最小二乘法中，构建一个非线性、可解释且可扩展的预测框架？
• RQ2 在深度学习背景下，如何保留如碎石图和双标图等模型诊断工具，以支持特征选择和架构设计？
• RQ3 与标准深度学习和经典PLS相比，DL-PLS框架在预测准确性和不确定性量化方面提升了多少？
• RQ4 在基于PLS的特征提取设置下，Brillinger方法能否从数据中恢复非线性激活函数（如ReLU、tanh）？
• RQ5 该框架在真实世界高维数据集（如葡萄酒品质和橙汁偏好）上的表现如何？

主要发现

• 在葡萄酒品质数据集中，使用77个变量扩展集后，PLS的样本外准确率达到0.60，优于OLS（0.575）和PCR（0.595）。
• 深度神经网络（架构为77-16-32-16-6）的样本外分类准确率达到88.9%，应用Brillinger方法后略微下降至88.5%。
• 在模拟研究中，DL-PLS框架成功通过Brillinger估计程序恢复了ReLU和tanh激活函数。
• 使用变量扩展（二次项和交互项）显著提升了所有线性模型（OLS、PCR、PLS）的模型拟合度和样本外性能。
• 碎石图和双标图被有效用于诊断模型成分，并指导DL-PLS框架中潜在因子的选择。
• 通过在最后一层使用MCMC，成功实现了后验预测不确定性的量化，使深度学习背景下实现统计推断成为可能。