[论文解读] An Efficient Proximal-Gradient Method for Single and Multi-task Regression with Structured Sparsity

Xi Chen, Qihang Lin+4 more|arXiv (Cornell University)|Jun 30, 2018

Sparse and Compressive Sensing Techniques参考文献 17被引用 20

一句话总结

该论文提出了一种针对具有重叠组结构稀疏性的单任务和多任务回归的高效近端梯度方法，通过采用非光滑结构稀疏性诱导范数的平滑近似，实现了比SOCP方法更快的收敛速度和更优的可扩展性。该方法在大规模遗传关联数据集上达到了最先进性能。

ABSTRACT

We consider the optimization problem of learning regression models with a mixed-norm penalty that is defined over overlapping groups to achieve structured sparsity. It has been previously shown that such penalty can encode prior knowledge on the input or output structure to learn an structuredsparsity pattern in the regression parameters. However, because of the non-separability of the parameters of the overlapping groups, developing an efficient optimization method has remained a challenge. An existing method casts this problem as a second-order cone programming (SOCP) and solves it by interior-point methods. However, this approach is computationally expensive even for problems of moderate size. In this paper, we propose an efficient proximal-gradientmethod that achieves a faster convergence rate and is much more efficient and scalable than solving the SOCP formulation. Our method exploits the structure of the non-smooth structured-sparsity-inducing norm, introduces its smooth approximation, and solves this approximation function instead of optimizing the original objective function directly. We demonstrate the efficiency and scalability of our method on simulated datasets and show that our method can be successfully applied to a very large-scale dataset in genetic association analysis.

研究动机与目标

• 为解决现有基于SOCP的方法在优化具有重叠组的混合范数惩罚时计算效率低下的问题。
• 开发一种适用于单任务和多任务回归中结构稀疏性的可扩展且快速的优化方法。
• 利用非光滑、重叠组范数的结构，以实现高效的优化。
• 在大规模真实世界数据集上（尤其是遗传关联分析）证明该方法的有效性。

提出的方法

• 该方法引入了对非光滑结构稀疏性诱导范数的平滑近似，以实现高效优化。
• 通过近端梯度框架构建优化问题，利用迭代更新处理非光滑性。
• 利用重叠组结构设计计算高效的近端算子。
• 该算法的收敛速度优于SOCP公式中使用的内点法。
• 通过直接优化原始目标函数的平滑近似，避免了SOCP的高计算成本。
• 该方法具有可扩展性，适用于非常大规模的数据集，如遗传关联研究中的数据。

实验结果

研究问题

• RQ1 基于平滑近似的近端梯度方法是否能在收敛速度和可扩展性方面优于SOCP方法，用于结构稀疏性问题？
• RQ2 对重叠组范数的平滑近似在保留结构稀疏性模式方面是否有效？
• RQ3 所提出的方法是否能高效扩展到具有高维特征的大规模遗传关联数据集？
• RQ4 与现有基于SOCP的方法相比，该方法是否保持或提升了预测精度？

主要发现

• 所提出的近端梯度方法相比基于SOCP的内点法实现了显著更快的收敛速度。
• 该方法表现出更优的可扩展性，能够处理非常大规模的数据集，如遗传关联分析中的数据。
• 对结构稀疏性诱导范数的平滑近似在不牺牲稀疏性结构的前提下实现了高效优化。
• 在模拟数据集上的实证结果证实了该方法有效恢复结构稀疏性模式的能力。