[论文解读] Generalized Linear Model Regression under Distance-to-set Penalties

Jason Xu, C. Eric+1 more|arXiv (Cornell University)|Nov 3, 2017

Advanced Statistical Methods and Models参考文献 30被引用 17

一句话总结

本文提出一种使用距离到集合惩罚的广义线性模型（GLM）回归框架，以在不引入传统正则化收缩偏差的情况下强制约束回归系数。通过利用Majorization-Minimization（MM）原理，该方法确保全局收敛，并在稀疏和低秩回归中表现出色，即使在非凸约束下也优于标准收缩方法的关键基准测试。

ABSTRACT

Estimation in generalized linear models (GLM) is complicated by the presence of constraints. One can handle constraints by maximizing a penalized log-likelihood. Penalties such as the lasso are effective in high dimensions, but often lead to unwanted shrinkage. This paper explores instead penalizing the squared distance to constraint sets. Distance penalties are more flexible than algebraic and regularization penalties, and avoid the drawback of shrinkage. To optimize distance penalized objectives, we make use of the majorization-minimization principle. Resulting algorithms constructed within this framework are amenable to acceleration and come with global convergence guarantees. Applications to shape constraints, sparse regression, and rank-restricted matrix regression on synthetic and real data showcase strong empirical performance, even under non-convex constraints.

研究动机与目标

• 解决传统收缩惩罚（如LASSO）的局限性，后者在强制实现稀疏性的同时引入了不希望的系数收缩。
• 开发一种灵活的框架，用于在GLM回归系数上施加多样化的约束，如稀疏性、保序性以及低秩结构。
• 提供一种统一的优化方法，即使在约束为非凸时也能保持收敛性保证。
• 在高维和结构化回归设置中，与标准收缩方法相比，展示出优越的实证性能。

提出的方法

• 通过使用到约束集的平方距离惩罚来构建GLM回归，替代传统的正则化方法（如L1或L0范数）。
• 采用Majorization-Minimization（MM）原理，构建一系列更易优化的凸代理子问题。
• 推导出迭代更新规则，包括将当前估计投影到约束集上，并求解加权最小二乘子问题。
• 利用Bregman散度框架，将目标函数推广至不同指数族分布。
• 应用加速技术以提高收敛速度，尤其适用于大规模问题。
• 确保全局收敛至驻点，在凸约束下可保证全局最优性。

实验结果

研究问题

• RQ1 距离到集合惩罚是否能在GLM回归中提供比标准正则化更有效的替代方案，同时避免系数收缩？
• RQ2 在非凸约束下，基于MM的优化框架在收敛性和计算效率方面表现如何？
• RQ3 距离惩罚在多大程度上提升了稀疏和低秩回归任务中的估计精度和变量选择能力？
• RQ4 在真实和合成数据集中，该方法与LASSO、SCAD、MCP以及核范数惩罚相比，实证表现如何？
• RQ5 该框架能否扩展到非凸约束集，同时仍能保证收敛性和良好的统计性能？

主要发现

• 在EEG酒精使用障碍数据集上，距离惩罚GLM方法的误分类率为0.139，与最佳先前结果相当，但无需依赖严格的秩-1假设。
• 在同一数据集中，核范数惩罚未能产生低秩解，凸显了距离惩罚在强制执行秩约束方面的优势。
• MM算法在最大EEG数据集上耗时31秒收敛，尽管速度慢于坐标下降LASSO实现，但仍证明了其可行性。
• 该方法成功恢复了温度异常数据中的保序关系，如图4左图所示。
• 距离惩罚、核范数和LASSO估计的系数矩阵在视觉和定量上均存在差异，其中距离惩罚表现出更优的结构保持能力。
• 理论上保证收敛至驻点，在凸约束下可实现全局最优；实证结果也证实了其在非凸设置下的鲁棒性。