[论文解读] Graph-Structured Multi-task Regression and an Efficient Optimization Method for General Fused Lasso Manuscript

Xi Chen, Se Young Kim+3 more|arXiv (Cornell University)|Jun 30, 2018

Sparse and Compressive Sensing Techniques参考文献 19被引用 66

一句话总结

本文提出使用图引导融合Lasso（GFlasso）的图结构多任务回归方法，通过输出变量上的图结构，利用融合惩罚项促使相关输出共享相关输入。作者开发了一种快速、可扩展的近端梯度方法，在收敛性和可扩展性方面优于标准的一阶和二阶方法，同时保持理论一致性，并在结构化多任务学习任务中表现出色。

ABSTRACT

We consider the problem of learning a structured multi-task regression, where the output consists of multiple responses that are related by a graph and the correlated response variables are dependent on the common inputs in a sparse but synergistic manner. Previous methods such as l1/l2 -regularized multi-task regression assume that all of the output variables are equally related to the inputs, although in many real-world problems, outputs are related in a complex manner. In this paper, we propose graph-guided fused lasso (GFlasso) for structured multi-task regression that exploits the graph structure over the output variables. We introduce a novel penalty function based on fusion penalty to encourage highly correlated outputs to share a common set of relevant inputs. In addition, we propose a simple yet efficient proximal-gradient method for optimizing GFlasso that can also be applied to any optimization problems with a convex smooth loss and the general class of fusion penalty defined on arbitrary graph structures. By exploiting the structure of the non-smooth “fusion penalty”, our method achieves a faster convergence rate than the standard first-order method, sub-gradient method, and is significantly more scalable than the widely adopted second-order cone-programming and quadratic-programming formulations. In addition, we provide an analysis of the consistency property of the GFlasso model. Experimental results not only demonstrate the superiority of GFlasso over the standard lasso but also show the efficiency and scalability of our proximal-gradient method.

研究动机与目标

• 通过建模输出之间的复杂结构化依赖关系，解决标准l1/l2多任务回归的局限性，即假设所有输出与输入之间关系均匀一致。
• 利用多个响应变量之间的图结构关系，提升输入选择的学习效率和稀疏性。
• 为任意图结构上的通用融合Lasso问题开发一种高效优化算法，实现可扩展推理。
• 在适当条件下确保GFlasso模型的理论一致性，支持高维设置下的可靠估计。
• 证明结构化融合惩罚优于标准套索或多任务套索，在真实世界多响应回归任务中表现更优。

提出的方法

• 基于图结构提出一种新型融合惩罚，促使相关输出采用相似的输入系数模式。
• 将GFlasso目标函数表述为一个凸优化问题，结合平滑损失函数与任意图上的通用融合惩罚。
• 设计一种近端梯度方法，利用非平滑融合惩罚的结构，使收敛速度超越标准次梯度法或一阶方法。
• 使该优化方法适用于任意具有凸平滑损失和任意图拓扑融合惩罚的问题。
• 利用针对融合惩罚量身定制的近端算子，高效计算每次迭代的更新，降低计算开销。
• 将该方法集成到带线搜索的一阶优化框架中，确保收敛性的同时保持可扩展性。

实验结果

研究问题

• RQ1 在输出变量之间引入图结构关系，能否提升多任务回归模型的性能？
• RQ2 所提出的融合惩罚是否能相比标准套索或多任务套索，实现更好的稀疏性以及相关输出之间的共享输入选择？
• RQ3 能否设计一种近端梯度方法，高效优化任意图上的通用融合Lasso问题，优于现有的二阶和一阶方法？
• RQ4 在适当的正则性条件下，GFlasso模型是否具有理论一致性，确保随着样本量增加，估计结果可靠？
• RQ5 与标准二次规划或二阶锥规划公式相比，该方法在问题规模和图复杂性增加时的可扩展性如何？

主要发现

• GFlasso模型在结构化多任务回归任务中，性能显著优于标准套索和多任务套索，尤其当输出表现出相关关系时。
• 由于充分利用了融合惩罚的结构，所提出的近端梯度方法收敛速度远快于标准次梯度法和一阶方法。
• 该方法在可扩展性方面显著优于传统的二阶锥规划和二次规划公式，可应用于大规模问题。
• 理论分析证实了GFlasso估计器的一致性，支持其在高维设置下的可靠性。
• 实证结果表明，GFlasso能有效识别相关输出之间的共享相关输入，提升模型可解释性和预测准确性。
• 该优化框架具有通用性，适用于任何具有凸平滑损失和任意图结构的融合Lasso问题，增强了其实际应用价值。