[论文解读] Efficient First-Order Methods for Linear Programming and Semidefinite Programming

James Renegar|arXiv (Cornell University)|Sep 19, 2014

Stochastic Gradient Optimization Techniques参考文献 3被引用 15

一句话总结

本文提出了一种新颖的变换方法，可将线性规划和半定规划转化为仅含线性等式约束且目标函数在整个空间上光滑、全局定义的等价凸优化问题。通过在变换后的问题上应用Nesterov的最优一阶方法，该方法在光滑问题中实现O(1/ε)的迭代复杂度，在非光滑情况下实现O(1/ε²)的复杂度，仅需相对误差测量和有界水平集作为假设——为具有结构特性的问题提供了一种可扩展的内点法替代方案。

ABSTRACT

We present a simple transformation of any linear program or semidefinite program into an equivalent convex optimization problem whose only constraints are linear equations. The objective function is defined on the whole space, making virtually all subgradient methods be immediately applicable. We observe, moreover, that the objective function is naturally smoothed, thereby allowing most first-order methods to be applied. We develop complexity bounds in the unsmoothed case for a particular subgradient method, and in the smoothed case for Nesterov's original optimal first-order method for smooth functions. We achieve the desired bounds on the number of iterations, $ O(1/ ε^2) $ and $ O(1/ ε) $, respectively. Perhaps most surprising is that the transformation from a linear program or a semidefinite program is simple and so is the basic theory, and yet the approach has been overlooked until now, a blind spot. Once the transformation is realized, the remaining effort in establishing complexity bounds is mainly straightforward, by making use of various works of Nesterov.

研究动机与目标

• 开发用于线性规划和半定规划的高效一阶方法，以提升迭代复杂度。
• 克服现有的一阶方法所受的强结构假设或绝对误差度量的限制。
• 通过仅依赖有界水平集，消除对有界可行域的需求。
• 通过将问题转化为适合高效次梯度法和Nesterov型方法的形式，实现实际可扩展性。
• 证明稀疏性约束可降低一阶方法的计算成本，而这一优势在内点法中并不存在。

提出的方法

• 将任意线性或半定规划问题转化为仅含线性等式约束且在整个空间上定义光滑目标函数的等价问题。
• 使用最小特征值函数λ_min(X)作为关键组件，将可行解映射到半正定锥的边界。
• 应用投影Z(X) = I + (1/(1 - λ_min(X)))(X - I)将内部点映射到边界，确保原始SDP的可行性。
• 在平滑化问题上应用Nesterov的最优一阶方法，实现O(1/ε)的迭代复杂度。
• 采用自适应步长和投影到仿射子空间的平滑次梯度方案，以保持可行性和收敛性。
• 在整个过程中使用固定的内积⟨·,·⟩ = ⟨·,·⟩_I，从而通过置零约束矩阵中的元素，实现高效的稀疏感知投影。

实验结果

研究问题

• RQ1 是否可以在不依赖有界可行域或绝对误差度量的前提下，高效地将一阶方法应用于线性规划和半定规划？
• RQ2 是否可以将LP和SDP转化为仅含线性等式约束和全局光滑目标函数的等价问题？
• RQ3 在一阶方法应用于平滑化后的问题时，可实现怎样的迭代复杂度，特别是当目标函数被平滑化时？
• RQ4 约束矩阵的稀疏性如何影响一阶方法的计算成本，与内点法相比如何？
• RQ5 在具有结构化稀疏性的大规模问题中，该方法是否能在迭代次数上超越内点法？

主要发现

• 通过在平滑目标函数上应用Nesterov的最优一阶方法，变换后的问题实现了O(1/ε)的迭代复杂度，采用相对误差度量。
• 对于非光滑情况，次梯度方法实现了O(1/ε²)的迭代复杂度，与此类问题的已知界一致。
• 该方法仅需有界水平集，无需有界可行域，从而放宽了一阶优化中的一项标准假设。
• 当初始矩阵U₀满足λ_min(U₀) = 1/6时，由于初始化更优，迭代上界改善了一个常数因子，从而减少了对数项。
• 稀疏性约束通过允许通过置零和投影到低维子空间实现高效投影，显著降低了每轮迭代的计算成本。
• 该方法可推广至双曲规划，后续论文将把结果推广至半定规划之外的更广范围。