[論文レビュー] Efficient First-Order Methods for Linear Programming and Semidefinite Programming

James Renegar|arXiv (Cornell University)|Sep 19, 2014

Stochastic Gradient Optimization Techniques参考文献 3被引用数 15

ひとこと要約

本稿では、線形計画法（LP）および半定値計画法（SDP）を、線形等式制約のみと、全空間上で滑らかでグローバルに定義された目的関数を持つ等価な凸最適化問題に変換する新規な変換を提示する。変換後の問題に対してネステロフの最適な一次順序法を適用することで、滑らかな問題ではO(1/ε)、滑らかでない場合ではO(1/ε²)の反復複雑性を達成する。相対誤差の測定と有界なレベル集合を唯一の仮定としており、構造的問題に対する内点法のスケーラブルな代替手法を提供する。

ABSTRACT

We present a simple transformation of any linear program or semidefinite program into an equivalent convex optimization problem whose only constraints are linear equations. The objective function is defined on the whole space, making virtually all subgradient methods be immediately applicable. We observe, moreover, that the objective function is naturally smoothed, thereby allowing most first-order methods to be applied. We develop complexity bounds in the unsmoothed case for a particular subgradient method, and in the smoothed case for Nesterov's original optimal first-order method for smooth functions. We achieve the desired bounds on the number of iterations, $ O(1/ ε^2) $ and $ O(1/ ε) $, respectively. Perhaps most surprising is that the transformation from a linear program or a semidefinite program is simple and so is the basic theory, and yet the approach has been overlooked until now, a blind spot. Once the transformation is realized, the remaining effort in establishing complexity bounds is mainly straightforward, by making use of various works of Nesterov.

研究の動機と目的

• 線形計画法および半定値計画法に対して、反復複雑性を向上させた効率的な一次順序法の開発。
• 強い構造的仮定や絶対誤差測定を必要とする従来の一次順序法の限界を克服すること。
• 有界な実行可能領域を必要とせず、有界なレベル集合のみに依存することで、実行可能領域の有界性を排除すること。
• 効率的な部分勾配法およびネステロフ型法に適した形に問題を変換することで、実用的なスケーラビリティを実現すること。
• スパarsity制約が一次順序法における計算コストを低減することを示すこと。内点法とは異なり、スパarsityが計算コストに顕著に効く。

提案手法

• 任意の線形計画法または半定値計画法を、線形等式制約のみと、全空間上で定義された滑らかな目的関数を持つ等価な問題に変換する。
• 可能な解を正定値コーンの境界に写像するために、最小固有値関数λ_min(X)を重要な構成要素として用いる。
• 内部点を境界に写像するための射影Z(X) = I + (1/(1 - λ_min(X)))(X - I)を適用し、元のSDPの実行可能性を保証する。
• 滑らかにした問題に対してネステロフの最適な一次順序法を適用し、O(1/ε)の反復複雑性を達成する。
• 適応的ステップサイズとアフィン部分空間への射影を維持するための滑らかにした部分勾配スキームを実装し、実行可能性と収束性を確保する。
• 固定された内積⟨·,·⟩ = ⟨·,·⟩_Iを常に使用し、制約行列の成分をゼロ化することで、スパarsityに配慮した効率的な射影を可能にする。

実験結果

リサーチクエスチョン

• RQ1 有界な実行可能領域や絶対誤差測定を必要とせず、一次順序法を線形計画法および半定値計画法に効率的に適用できるか。
• RQ2 LPおよびSDPを、線形等式制約のみと、全空間上で滑らかな目的関数を持つ等価な問題に変換することは可能か。
• RQ3 目的関数を滑らかにした場合、一次順序法を変換後の問題に適用することで達成可能な反復複雑性は何か。
• RQ4 制約行列のスパarsityが、一次順序法における計算コストに与える影響は何か。内点法と比較して。
• RQ5 構造的スパarsityを持つ大規模問題において、提案手法が内点法を反復回数の観点で上回れるか。

主な発見

• 滑らかにした目的関数に対してネステロフの最適な一次順序法を適用した変換後問題は、相対誤差を測定基準としてO(1/ε)の反復複雑性を達成する。
• 滑らかでない場合、部分勾配法によりO(1/ε²)の反復複雑性が達成され、このような問題に対する既知の境界と一致する。
• 本手法は、有界な実行可能領域ではなく、有界なレベル集合のみを仮定するため、一次順序最適化における標準的仮定を緩和する。
• 初期行列U₀のλ_min(U₀) = 1/6の場合、初期化がより良好であるため、反復境界が定数倍改善され、対数的項が減少する。
• スパarsity制約により、一次順序法における1反復あたりの計算コストが顕著に低減され、ゼロ化と低次元部分空間への直交射影を用いた効率的な射影が可能になる。
• 本手法は双曲型プログラミングへも拡張可能であり、近い将来に半定値プログラミングを超える一般化を示す論文が発表される予定である。