[论文解读] Graph-Structured Multi-task Regression and an Efficient Optimization Method for General Fused Lasso

Xi Chen, Se Young Kim+3 more|arXiv (Cornell University)|May 20, 2010

Bone and Joint Diseases被引用 34

一句话总结

本文提出图引导融合Lasso（GFlasso），一种结构化多任务回归方法，利用图结构建模输出变量之间的依赖关系，通过融合惩罚项促使相关任务共享相关输入。该方法提出一种高效的近端梯度优化方法，其收敛速度和可扩展性优于SOCP或QP方法，从而实现对任意图结构输出的有效稀疏学习。

ABSTRACT

We consider the problem of learning a structured multi-task regression, where the output consists of multiple responses that are related by a graph and the correlated response variables are dependent on the common inputs in a sparse but synergistic manner. Previous methods such as l1/l2-regularized multi-task regression assume that all of the output variables are equally related to the inputs, although in many real-world problems, outputs are related in a complex manner. In this paper, we propose graph-guided fused lasso (GFlasso) for structured multi-task regression that exploits the graph structure over the output variables. We introduce a novel penalty function based on fusion penalty to encourage highly correlated outputs to share a common set of relevant inputs. In addition, we propose a simple yet efficient proximal-gradient method for optimizing GFlasso that can also be applied to any optimization problems with a convex smooth loss and the general class of fusion penalty defined on arbitrary graph structures. By exploiting the structure of the non-smooth ''fusion penalty'', our method achieves a faster convergence rate than the standard first-order method, sub-gradient method, and is significantly more scalable than the widely adopted second-order cone-programming and quadratic-programming formulations. In addition, we provide an analysis of the consistency property of the GFlasso model. Experimental results not only demonstrate the superiority of GFlasso over the standard lasso but also show the efficiency and scalability of our proximal-gradient method.

研究动机与目标

• 为解决标准多任务学习方法假设输出之间关系均匀的局限性，该方法无法捕捉复杂的真实世界输出相关性。
• 通过图结构引入输出关系的先验知识，实现多任务回归中的结构化稀疏性建模。
• 为GFlasso开发一种高效优化算法，使其可扩展至具有任意图结构的大规模问题。
• 在适当的正则性条件下，建立GFlasso模型的理论一致性。

提出的方法

• 提出一种新型惩罚函数，结合标准Lasso惩罚与融合惩罚，其中融合惩罚由输出关系图引导，以促进相关任务之间共享稀疏模式。
• 采用近端梯度法优化GFlasso目标函数，利用非光滑融合惩罚的结构，实现比次梯度法或标准一阶方法更快的收敛速度。
• 通过对偶公式引入平滑技术，以处理非光滑融合惩罚，从而实现梯度的高效计算及Lipschitz常数的估计。
• 采用路径优化策略，在保持收敛性保证的同时提升大规模问题的计算效率。
• 推导出近端梯度法的收敛速率上界为O(1/t²)，显著快于标准次梯度法的O(1/√t)。
• 采用融合惩罚的对偶表示，将问题转化为光滑优化任务，从而可利用标准一阶方法高效求解。

实验结果

研究问题

• RQ1 在输出之间存在图结构关系时，是否能提升多任务回归中相关输入的识别能力？
• RQ2 当融合惩罚定义在任意图结构（而非简单链式或网格结构）上时，如何实现高效优化？
• RQ3 所提出的近端梯度法在融合Lasso问题上是否相比SOCP或QP方法具有更快的收敛速度和更好的可扩展性？
• RQ4 在适当的正则性条件下，GFlasso模型是否具有理论一致性，确保正确恢复真实稀疏结构？
• RQ5 该方法是否能有效识别出在生物和神经科学应用中常见的、共享共同相关输入的密集输出子图？

主要发现

• 当输出通过已知图结构相关联时，GFlasso模型在识别相关输入方面显著优于标准Lasso和ℓ₁/ℓ₂多任务回归方法。
• 所提出的近端梯度法实现了O(1/t²)的收敛速率，显著快于标准次梯度法的O(1/√t)。
• 该方法比SOCP和QP公式更具可扩展性，能够高效求解具有任意图结构的大规模问题。
• 在遗传学和神经科学数据集上的实证结果表明，GFlasso恢复的稀疏模式比基线方法更准确且更具生物学合理性。
• 理论分析证实了GFlasso的一致性，表明在正则性条件下，随着样本量增加，该方法能一致地恢复真实的底层稀疏结构。
• 基于平滑的对偶公式使梯度计算更加高效，从而使得该算法在具有复杂输出依赖关系的高维输入空间中具有实际应用价值。