[论文解读] A Cluster Elastic Net for Multivariate Regression

Bradley S. Price, Ben Sherwood|arXiv (Cornell University)|Jul 12, 2017

Advanced Statistical Methods and Models被引用 7

一句话总结

本文提出了一种聚类弹性网络方法，通过结合聚类融合惩罚和L1惩罚的惩罚似然法，在多元回归中联合估计回归系数和聚类响应变量。该方法在高维设置（p ≫ n）下具有理论保证，并可扩展至二项响应，通过坐标下降和邻近算法实现，提升了预测精度并揭示了响应之间的关系。

ABSTRACT

We propose a method for estimating coefficients in multivariate regression when there is a clustering structure to the response variables. The proposed method includes a fusion penalty, to shrink the difference in fitted values from responses in the same cluster, and an L1 penalty for simultaneous variable selection and estimation. The method can be used when the grouping structure of the response variables is known or unknown. When the clustering structure is unknown the method will simultaneously estimate the clusters of the response and the regression coefficients. Theoretical results are presented for the penalized least squares case, including asymptotic results allowing for p >> n. We extend our method to the setting where the responses are binomial variables. We propose a coordinate descent algorithm for both the normal and binomial likelihood, which can easily be extended to other generalized linear model (GLM) settings. Simulations and data examples from business operations and genomics are presented to show the merits of both the least squares and binomial methods.

研究动机与目标

• 提出一种方法，同时估计多元回归中的回归系数并聚类响应变量，以提升预测精度。
• 通过L1惩罚实现变量选择，同时利用聚类融合惩罚对同一聚类中响应的拟合值进行收缩。
• 在高维设置（p ≫ n）下，为惩罚最小二乘估计器提供理论一致性结果。
• 将方法扩展至广义线性模型，特别是二项响应，以应用于基因组学和业务运营领域。
• 设计计算高效的算法——高斯分布使用坐标下降，二项分布使用邻近梯度下降——以支持可扩展性和并行化。

提出的方法

• 提出一种惩罚似然估计器，结合聚类融合惩罚以缩小同一聚类中响应拟合值之间的差异，以及L1惩罚以实现变量选择与估计的同步进行。
• 采用两步迭代算法，交替进行k-means聚类和在固定聚类下求解惩罚似然，利用聚类融合惩罚实现并行计算。
• 对正态似然使用坐标下降算法，对二项似然使用邻近梯度下降算法，两者均可扩展至其他指数族分布设置。
• 推导最小二乘情况下的理论结果，包括在高维渐近下（p ≫ n）的一致性和误差界，假设稀疏性和限制特征值条件。
• 将方法应用于高斯和二项响应模型，对估计误差和聚类恢复提供理论保证。
• 使用矩阵表示法，其中 X ∈ ℝ^{n×p}，Y ∈ ℝ^{n×r}，系数矩阵 B* ∈ ℝ^{p×r}，聚类融合惩罚作用于同一聚类中响应拟合值的差异。

实验结果

研究问题

• RQ1 联合估计回归系数并聚类响应变量是否能提升多元回归中的预测精度？
• RQ2 在高维设置（p ≌ n）下，惩罚似然框架如何同时实现变量选择与响应聚类融合？
• RQ3 在高维渐近下，所提估计器的理论性质（特别是相合性和估计误差界）如何？
• RQ4 该方法能否扩展至广义线性模型，特别是二项响应？支持该扩展的算法方法有哪些？
• RQ5 在基因组学和业务运营等真实数据中，该方法在恢复真实响应聚类和识别相关预测变量方面效果如何？

主要发现

• 在高维渐近下（p ≫ n），该方法实现了回归系数的一致估计，估计误差以高概率被限制在 O(√(s log(rp)/n)) 以内。
• 理论分析表明，当调参适切且设计矩阵满足限制特征值条件时，估计器以高概率恢复真实聚类结构。
• 对于二项响应情形，邻近梯度下降算法实现收敛，支持对具有聚类响应的逻辑回归的应用。
• 模拟结果表明，与标准多元回归和独立Lasso模型相比，该方法在预测精度和变量选择方面均有提升。
• 基因组学和业务运营的真实数据示例表明，该方法能识别出具有生物学或业务意义的响应聚类，并选择出相关预测变量，显著改善模型拟合效果。
• 由于聚类融合惩罚的存在，该两步算法展现出有利的并行计算特性，支持在大规模数据集上的可扩展实现。