[论文解读] A Unified Approach to Error Bounds for Structured Convex Optimization Problems

Zirui Zhou, Anthony Man–Cho So|arXiv (Cornell University)|Dec 11, 2015

Sparse and Compressive Sensing Techniques参考文献 41被引用 12

一句话总结

本文提出了一套统一框架，用于建立涉及光滑凸函数和一般闭致密凸函数的结构化凸优化问题的误差界。通过利用集值分析工具，作者在一种类似严格互补性的正则性条件下，为核范数正则化问题推导出一个新的误差界，并通过反例证明该条件的必要性，从而解决了Tseng长期提出的问题。

ABSTRACT

Error bounds, which refer to inequalities that bound the distance of vectors in a test set to a given set by a residual function, have proven to be extremely useful in analyzing the convergence rates of a host of iterative methods for solving optimization problems. In this paper, we present a new framework for establishing error bounds for a class of structured convex optimization problems, in which the objective function is the sum of a smooth convex function and a general closed proper convex function. Such a class encapsulates not only fairly general constrained minimization problems but also various regularized loss minimization formulations in machine learning, signal processing, and statistics. Using our framework, we show that a number of existing error bound results can be recovered in a unified and transparent manner. To further demonstrate the power of our framework, we apply it to a class of nuclear-norm regularized loss minimization problems and establish a new error bound for this class under a strict complementarity-type regularity condition. We then complement this result by constructing an example to show that the said error bound could fail to hold without the regularity condition. Consequently, we obtain a rather complete answer to a question raised by Tseng. We believe that our approach will find further applications in the study of error bounds for structured convex optimization problems.

研究动机与目标

• 开发一个通用且透明的框架，用于推导结构化凸优化问题的误差界。
• 以系统化的方式统一并重新推导现有的误差界结果。
• 解决Tseng提出的一个关键开放问题：核范数正则化问题中误差界所依赖的正则性条件是否必要。
• 通过为核范数正则化损失最小化问题建立新的误差界，展示该框架的强大力量。
• 通过反例表明，当正则性条件不成立时，误差界将失效，从而证明该条件的必要性。

提出的方法

• 该框架利用集值分析工具，分析最优解集和残差映射的结构。
• 引入基于邻近映射的残差函数，定义为 $ R(x) = \text{prox}_P(x - \nabla f(x)) - x $，用于衡量最优性不可行性。
• 该方法建立了形式为 $ d(x, \mathcal{X}) \leq \kappa \|R(x)\|_2 $ 的误差界，其中 $ x $ 属于一个水平集且靠近解集。
• 将该框架应用于核范数正则化问题，识别出一种类似严格互补性的正则性条件，作为误差界成立的充分条件。
• 通过构造一个反例，证明该条件的必要性：当条件被违反时，误差界不再成立。
• 利用矩阵收缩算子和基于SVD的分析，显式计算了反例中的残差映射。

实验结果

研究问题

• RQ1 能否为包含光滑函数和一般凸函数的结构化凸优化问题，开发一个统一的误差界推导框架？
• RQ2 在何种条件下，核范数正则化问题的误差界 $ d(x, \mathcal{X}) \leq \kappa \|R(x)\|_2 $ 成立？
• RQ3 类似严格互补性的正则性条件是否为该类问题中误差界成立的必要条件？
• RQ4 该框架能否以透明且系统化的方式恢复并统一现有的误差界结果？
• RQ5 当正则性条件不成立时，误差界会发生什么变化？

主要发现

• 所提出的框架成功以透明且系统化的方式恢复并统一了大量现有的误差界结果。
• 在一种类似严格互补性的正则性条件下，为核范数正则化损失最小化问题建立了新的误差界。
• 误差界以常数 $ \kappa > 0 $ 成立，即对属于水平集且靠近解集的 $ x $，有 $ d(x, \mathcal{X}) \leq \kappa \|R(x)\|_2 $。
• 构造了一个反例，其中 $ \|R(x^k)\|_F = o(d(x^k, \mathcal{X})) $，表明在缺乏正则性条件时误差界将失效。
• 该反例证实，正则性条件不仅充分，而且必要，从而为Tseng的问题提供了完整解答。
• 该框架被证明具有强大且可推广的潜力，可应用于其他非多面体正则化器。