[论文解读] Generalized Conditional Gradient for Sparse Estimation

Yaoliang Yu, Xinhua Zhang+1 more|arXiv (Cornell University)|Oct 17, 2014

Sparse and Compressive Sensing Techniques参考文献 61被引用 13

一句话总结

本文提出了一种增强型广义条件梯度（GCG）算法，用于结构化稀疏估计，通过高效计算极坐标算子并结合固定秩局部优化，加速收敛。该方法在矩阵补全、多分类分类、多视学习和重叠组Lasso任务中显著降低了训练成本，避免了昂贵的SVD计算并保持了稀疏的迭代解。

ABSTRACT

Structured sparsity is an important modeling tool that expands the applicability of convex formulations for data analysis, however it also creates significant challenges for efficient algorithm design. In this paper we investigate the generalized conditional gradient (GCG) algorithm for solving structured sparse optimization problems---demonstrating that, with some enhancements, it can provide a more efficient alternative to current state of the art approaches. After providing a comprehensive overview of the convergence properties of GCG, we develop efficient methods for evaluating polar operators, a subroutine that is required in each GCG iteration. In particular, we show how the polar operator can be efficiently evaluated in two important scenarios: dictionary learning and structured sparse estimation. A further improvement is achieved by interleaving GCG with fixed-rank local subspace optimization. A series of experiments on matrix completion, multi-class classification, multi-view dictionary learning and overlapping group lasso shows that the proposed method can significantly reduce the training cost of current alternatives.

研究动机与目标

• 解决加速近端梯度（APG）方法在结构化稀疏优化中的计算瓶颈问题。
• 为大规模结构化稀疏性问题开发广义条件梯度（GCG）算法的高效实现。
• 通过将GCG与固定秩局部优化交替进行，实现稀疏迭代解并加快收敛速度。
• 为字典学习和重叠组Lasso等关键场景中极坐标算子的高效计算提供算法支持。
• 在真实世界机器学习任务中，展示该方法相较于最先进方法的卓越训练效率。

提出的方法

• 提出对非凸与凸设置下GCG的统一收敛性分析，证明对规范正则化项具有O(1/t)的收敛速率。
• 通过平滑LP重表述与子模最小化，实现极坐标算子的高效计算，降低计算复杂度。
• 利用割线法进行一次性子模最小化，从平滑问题中恢复出ϵ-精确的整数解。
• 设计一种启发式分组排序与暴力选择结合的分组稀疏性舍入方法。
• 将固定秩局部子空间优化与GCG结合，以在实际中加速收敛。
• 基于问题结构，设计出O(nr)时间复杂度的算法，用于枚举重叠组Lasso中的最优分组选择。

实验结果

研究问题

• RQ1 能否通过避免昂贵的近端更新，使GCG在结构化稀疏问题上比APG更高效？
• RQ2 在字典学习和重叠组Lasso等关键稀疏估计问题中，如何高效计算极坐标算子？
• RQ3 能否通过一次性子模最小化替代迭代方法，以相近精度求解极坐标算子？
• RQ4 将GCG与固定秩局部优化交替使用，对收敛速度和解质量有何影响？
• RQ5 所提方法能否在多种结构化稀疏性任务中实现显著的训练成本降低？

主要发现

• 所提GCG方法对规范正则化项实现了O(1/t)的收敛速率，优于先前的理论边界。
• 该方法在矩阵补全、多分类分类、多视学习和重叠组Lasso任务中显著降低了训练成本。
• 对于迹范数正则化，GCG通过仅计算谱范数避免了完整的SVD，将每轮迭代成本降低一个数量级。
• 通过单次子模最小化高效计算极坐标算子，避免了重复的高成本调用。
• 针对分组稀疏性的启发式舍入方法在O(nr)时间复杂度下实现接近最优的解，优于标准方法。
• 将GCG与固定秩局部优化交替使用，带来显著的实际加速，且对解质量的损失可忽略。