[論文レビュー] A Framework for Applying Subgradient Methods to Conic Optimization Problems

James Renegar|arXiv (Cornell University)|Mar 9, 2015

Stochastic Gradient Optimization Techniques参考文献 2被引用数 9

ひとこと要約

本稿では、任意の凸錐最適化問題を、線形等式制約のみとリプシッツ連続な目的関数を持つ等価な問題に変換する新しいフレームワークを提示する。これにより、勾配未満法の適用が可能になる。主な貢献は、目的関数のリプシッツ定数に依存しない複雑度の上限を達成することであり、代わりに実行可能集合の幾何的性質と、特定の方向およびセミノルムを用いて丁寧に構築された変換に依存する。

ABSTRACT

A framework is presented whereby a general convex conic optimization problem is transformed into an equivalent convex optimization problem whose only constraints are linear equations and whose objective function is Lipschitz continuous. Virtually any subgradient method can be applied to solve the equivalent problem. Two methods are analyzed.

研究の動機と目的

• 勾配未満法を凸錐最適化問題に一般に適用するためのフレームワークを開発すること。
• 非線形制約を排除し、線形方程式のみとリプシッツ連続な目的関数を持つ問題に再定式化すること。
• 変換された問題に対して、任意の勾配未満法を適用可能とし、計算コストが主に勾配未満の計算と固定部分空間への射影に支配されることを保証すること。
• 2種類の勾配未満法—最適値の知識を必要とするものと、厳密に実行可能点のみを必要とするもの—の複雑度結果を提供すること。
• 元の目的関数にリプシッツ定数を仮定しない条件下でも、収束境界を導出できることを示すこと。

提案手法

• 元の錐問題を、線形等式制約のみとリプシッツ連続な目的関数を持つ高次元空間における等価問題に変換する。
• 特定の方向 $ e \in \mathrm{int}(\mathcal{K}) $ を導入し、セミノルム $ \|\cdot\|_\infty $ と、要素を $ e $ 沿いに最小移動して錐 $ \mathcal{K} $ の境界に達するまでの量を表す関数 $ \lambda_{\min}(x) $ を定義する。
• 関数 $ \lambda_{\min}(x,s,t) $ を $ \mathcal{E} \times \mathbb{R} \times \mathbb{R} $ 上で定義し、等価問題の目的関数として用いることで、リプシッツ連続性（定数1未満）を保証する。
• 等価問題に対して勾配未満法を適用し、各反復で勾配未満の計算と固定部分空間への射影を実行する。これにより、事前処理が可能になり、計算が効率的になる。
• 実行可能集合を錐 $ \mathcal{K} $ に埋め込み、レベル集合を用いて問題の幾何的性質を定義する錐の再定式化を採用する。
• 射影 $ \pi $ を、$ \{ (x,s,t) : Ax=0, s=0 \} $ に沿うものとし、反復間で一定であるため、計算のオーバーヘッドを低減する。

実験結果

リサーチクエスチョン

• RQ1 一般の凸錐最適化問題を、線形制約のみとリプシッツ連続な目的関数を持つ等価問題に再定式化できるか？
• RQ2 このような再定式化された問題に対して、勾長未満法を効果的に適用でき、元の目的関数のリプシッツ定数に依存しない複雑度の上限が得られるか？
• RQ3 射影の部分空間が反復間で固定されている場合、勾長未満法の計算コスト構造はどのようになるか？
• RQ4 目的関数がリプシッツでないと仮定されるが、その変換はリプシッツである場合、勾長未満法の収束をどのように分析できるか？
• RQ5 このフレームワークにおいて、部分レベル集合の直径と収束速度の関係は何か？

主な発見

• 変換された問題は、線形等式制約のみと、リプシッツ定数が1未満のリプシッツ連続な目的関数を持つため、勾長未満法が適用可能である。
• 一般の勾長未満法の複雑度上限は、$ \ell \geq 8D^2 \left( \frac{1}{\epsilon^2} + \frac{1}{\epsilon} \log_{4/3}((D+1)(1-\epsilon)) + 1 \right) $ であり、$ D $ は部分レベル集合の直径を表す。
• 誤差境界 $ \frac{f(x_k') - f^*}{\hat{f} - f^*} \leq \epsilon $ は相対的であり、元の目的関数 $ f $ のリプシッツ定数に依存しない。
• 固定部分空間への射影のみで収束を達成でき、事前処理が可能であるため、実行可能集合への繰り返し射影を要する従来の勾長未満法と比較して計算が効率的である。
• 元の目的関数がリプシッツでなくても、厳密に実行可能点と有界な部分レベル集合が存在する限り、フレームワークは頑健である。
• 従来の勾長未満法が収束解析のために必要とするように、目的関数のリプシッツ定数の事前知識を必要としないため、大きな利点を有する。