[论文解读] A Framework for Applying Subgradient Methods to Conic Optimization Problems

James Renegar|arXiv (Cornell University)|Mar 9, 2015

Stochastic Gradient Optimization Techniques参考文献 2被引用 9

一句话总结

本文提出了一种新框架，可将任意凸锥优化问题转化为仅含线性等式约束和利普希茨连续目标函数的等价问题，从而支持次梯度方法的应用。关键贡献在于其复杂度界独立于目标函数的利普希茨常数，转而依赖于可行集的几何性质以及通过特定方向和半范数精心构造的变换。

ABSTRACT

A framework is presented whereby a general convex conic optimization problem is transformed into an equivalent convex optimization problem whose only constraints are linear equations and whose objective function is Lipschitz continuous. Virtually any subgradient method can be applied to solve the equivalent problem. Two methods are analyzed.

研究动机与目标

• 开发一种通用框架，用于将次梯度方法应用于凸锥优化问题。
• 通过重构问题为仅含线性方程和利普希茨连续目标函数的形式，消除非线性约束。
• 使任何次梯度方法均可应用于变换后的问题，其计算成本主要由次梯度计算和投影到固定子空间决定。
• 为两种次梯度方法提供复杂度结果——一种需要最优值的知识，另一种仅需一个严格可行点。
• 证明即使不假设原目标函数具有利普希茨常数，也能推导出收敛性界。

提出的方法

• 将原始锥问题转化为高维空间中的等价问题，仅含线性等式约束和利普希茨连续目标函数。
• 引入一个特殊方向 $ e \in \mathrm{int}(\mathcal{K}) $，以定义半范数 $ \|\cdot\|_\infty $ 和函数 $ \lambda_{\min}(x) $，该函数将元素映射为其沿 $ e $ 方向移动至锥 $ \mathcal{K} $ 边界的最小位移。
• 在 $ \mathcal{E} \times \mathbb{R} \times \mathbb{R} $ 上使用函数 $ \lambda_{\min}(x,s,t) $ 定义等价问题的目标函数，确保其利普希茨常数不超过 1。
• 对等价问题应用次梯度方法，每次迭代包括计算次梯度和投影到固定子空间，从而支持高效预处理。
• 采用锥重构方法，将可行集嵌入锥 $ \mathcal{K} $ 中，并利用水平集定义问题的几何结构。
• 使用投影 $ \pi $ 到子空间 $ \{ (x,s,t) : Ax=0, s=0 \} $，该投影在迭代过程中保持不变，从而降低计算开销。

实验结果

研究问题

• RQ1 能否将一般凸锥优化问题重构为仅含线性约束和利普希茨连续目标函数的等价问题？
• RQ2 能否有效应用次梯度方法于此类重构问题，且其复杂度界独立于原目标函数的利普希茨常数？
• RQ3 当投影子空间在迭代过程中保持固定时，应用次梯度方法的计算成本结构如何？
• RQ4 当目标函数不假设为利普希茨连续，但其变换后为利普希茨连续时，如何分析次梯度方法的收敛性？
• RQ5 在该框架中，子水平集的直径与收敛速率之间存在何种关系？

主要发现

• 变换后的问题仅含线性等式约束，且目标函数为利普希茨连续，常数不超过 1，确保次梯度方法适用。
• 一般次梯度方法的复杂度界为 $ \ell \geq 8D^2 \left( \frac{1}{\epsilon^2} + \frac{1}{\epsilon} \log_{4/3}((D+1)(1-\epsilon)) + 1 \right) $，其中 $ D $ 为子水平集的直径。
• 误差界 $ \frac{f(x_k') - f^*}{\hat{f} - f^*} \leq \epsilon $ 为相对误差，不依赖于原目标函数 $ f $ 的利普希茨常数。
• 该方法仅需对固定子空间进行投影，且可预先处理，因此相比标准次梯度方法（需反复投影到可行集），计算效率更高。
• 当原目标函数非利普希茨时，只要存在严格可行点和有界子水平集，该框架仍具鲁棒性。
• 该方法避免了对目标函数利普希茨常数的先验知识，这是相对于依赖此类边界的传统次梯度方法的一大优势。