[论文解读] A Universal Primal-Dual Convex Optimization Framework

Alp Yurtsever, Quoc Tran-Dinh+1 more|arXiv (Cornell University)|Feb 10, 2015

Sparse and Compressive Sensing Techniques参考文献 19被引用 28

一句话总结

本文提出了一种适用于凸优化的通用原始-对偶框架，用计算成本更低的Fenchel型算子替代了昂贵的近端算子，从而在无需事先知晓光滑性参数的情况下，实现了对未知Hölder光滑度的所有程度的最优收敛速率。该方法通过梯度法和加速版本结合对偶上升与自适应线搜索，在目标残差和可行性间隙方面均实现了最优收敛。

ABSTRACT

We propose a new primal-dual algorithmic framework for a prototypical constrained convex optimization template. The algorithmic instances of our framework are universal since they can automatically adapt to the unknown Holder continuity degree and constant within the dual formulation. They are also guaran- teed to have optimal convergence rates in the objective residual and the feasibility gap for each Holder smoothness degree. In contrast to existing primal-dual algorithms, our framework avoids the proximity operator of the objective function. We instead leverage computationally cheaper, Fenchel-type operators, which are the main workhorses of the generalized conditional gradient (GCG)-type methods. In contrast to the GCG-type methods, our framework does not require the objective function to be differentiable, and can also process additional general linear inclusion constraints, while guarantees the convergence rate on the primal problem

研究动机与目标

• 开发一种原始-对偶算法框架，以适应对偶目标函数未知的Hölder连续度。
• 用计算成本更低的Fenchel型预言机替代计算昂贵的近端算子，提升大规模问题的可扩展性。
• 在所有Hölder光滑度水平下，保持目标残差和可行性间隙的最优收敛速率。
• 将广义条件梯度型方法的适用范围扩展至非光滑目标函数和一般线性包含约束。
• 实现无需已知光滑性参数 $M_\nu$ 和 $\nu$ 的通用收敛。

提出的方法

• 该框架基于约束凸优化模板 $\min_{\mathbf{x} \in \mathcal{X}} \{ f(\mathbf{x}) : \mathbf{A}\mathbf{x} - \mathbf{b} \in \mathcal{K} \} $ 的对偶形式运作。
• 为提升计算效率，采用Fenchel型预言机 $[\mathbf{x}]^\sharp_{\mathcal{X},g} = \arg\max_{\mathbf{s} \in \mathcal{X}} \{ \langle \mathbf{x}, \mathbf{s} \rangle - g(\mathbf{s}) \}$ 替代近端算子。
• 在对偶空间上使用梯度法与加速梯度法，线搜索基于由对偶目标 $g(\boldsymbol{\lambda})$ 导出的上界 $U(\alpha_k)$ 进行。
• 当 $\mathcal{X}$ 为范数球时，对偶函数简化为 $g(\boldsymbol{\lambda}) = \frac{1}{2}\|\boldsymbol{\lambda}\|^2 + \langle \boldsymbol{\lambda}, \mathbf{b} \rangle + \kappa \|\mathcal{A}^T(\boldsymbol{\lambda})\|$。
• 通过求解涉及 $\|\nabla g(\hat{\boldsymbol{\lambda}}_k)\|$ 和 $\|\mathcal{A}^T(\nabla g(\hat{\boldsymbol{\lambda}}_k))\|$ 的二次方程，推导出显式步长 $\alpha_k$。
• 该框架具有通用性：可自动适应未知的Hölder光滑度 $\nu \in [0,1]$，且在无需事先知晓 $M_\nu$ 的情况下实现最优收敛速率。

实验结果

研究问题

• RQ1 能否设计一种原始-对偶框架，在无需事先知晓光滑性参数的情况下，实现对所有Hölder光滑度程度的最优收敛速率？
• RQ2 能否用Fenchel型预言机替代近端算子，同时保持最优收敛速率并处理非光滑目标函数？
• RQ3 该框架能否在确保非光滑 $f$ 收敛的前提下，处理一般线性包含约束 $\mathbf{A}\mathbf{x} - \mathbf{b} \in \mathcal{K}$？
• RQ4 如何设计自适应线搜索，仅依赖Fenchel型预言机即可实现最优收敛？
• RQ5 该框架能否统一近端方法（最优收敛速率）与条件梯度方法（低计算成本迭代）的优势？

主要发现

• 所提出的框架在 $f$ 为非光滑时，实现了目标残差和可行性间隙的最优收敛速率 $\mathcal{O}(1/\epsilon^2)$，尽管使用的是Fenchel型预言机，但其收敛速率与近端方法一致。
• 对于强凸 $f$，收敛速率与近端方法一致，实现了对偶间隙的 $\mathcal{O}(1/\epsilon)$ 收敛速率。
• 该框架完全避免使用近端算子，转而依赖计算成本更低的Fenchel型预言机，在许多场景下优于近端算子。
• 该方法具有通用性：可自动适应未知的Hölder光滑度参数 $M_\nu$ 和 $\nu$，在无需事先知晓参数的情况下实现最优收敛速率。
• 通过求解涉及对偶梯度与 $\mathcal{A}^T(\nabla g)$ 的算子范数的二次方程，推导出显式线搜索步长 $\alpha_k$。
• 在范数球约束的特殊情况下，对偶函数及其梯度可显式计算，从而可借助幂迭代或Lanczos方法实现高效计算。