[論文レビュー] Time-Varying Convex Optimization via Time-Varying Averaged Operators

Andrea Simonetto|arXiv (Cornell University)|Apr 24, 2017

Sparse and Compressive Sensing Techniques参考文献 71被引用数 37

ひとこと要約

本稿では、時間変動する平均化作用素を用いた時間変動凸最適化の統一的枠組みを提案し、強い凸性や滑らかさを必要とせずに最適解を追跡できる実行可能アルゴリズムを可能にする。弱い仮定のもとで、投影勾配法、近位点法、前向き後向き分割法、ADMM といった主要なアルゴリズムの実行バージョンの収束を確立し、ℓ₁正則化最適化を含む問題への応用範囲を顕著に拡大する。

ABSTRACT

Devising efficient algorithms that track the optimizers of continuously varying convex optimization problems is key in many applications. A possible strategy is to sample the time-varying problem at constant rate and solve the resulting time-invariant problem. This can be too computationally burdensome in many scenarios. An alternative strategy is to set up an iterative algorithm that generates a sequence of approximate optimizers, which are refined every time a new sampled time-invariant problem is available by one iteration of the algorithm. These types of algorithms are called running. A major limitation of current running algorithms is their key assumption of strong convexity and strong smoothness of the time-varying convex function. In addition, constraints are only handled in simple cases. This limits the current capability for running algorithms to tackle relevant problems, such as $\ell_1$-regularized optimization programs. In this paper, these assumptions are lifted by leveraging averaged operator theory and a fairly comprehensive framework for time-varying convex optimization is presented. In doing so, new results characterizing the convergence of running versions of a number of widely used algorithms are derived.

研究の動機と目的

• 時間変動最適化において強い凸性や滑らかさを要する既存の実行可能アルゴリズムの制限を克服すること。
• より広いクラスの時間変動凸最適化問題に適用可能な、実行可能アルゴリズムの一般収束理論を構築すること。
• 非滑らかおよび制約付き問題、特にℓ₁正則化プログラムへの実行可能手法の適用範囲を拡大すること。
• ADMM や双対分解法といった広く用いられるアルゴリズムの実行バージョンの収束保証を、弱い仮定のもとで提供すること。
• 平均化作用素理論を用いて、実行可能最適化における先行研究の結果を統一的かつ一般化すること。

提案手法

• 時間変動する平均化作用素理論を活用し、時間変動凸問題における最適化子の時間的変動をモデル化する。
• マッン＝クリェノセルスキー固定点反復の実行バージョンを統一的アルゴリズム枠組みとして導入する。
• 有界な摂動を用いた解析により、反復点と時間変動する最適解との間の誤差ダイナミクスを分析し、収束を確立する。
• 作用素論的変換を用いて、標準的アルゴリズム（例：投影勾配法、前向き後向き法、双対勾配法）の実行バージョンを導出する。
• 時間変動問題パラメータに有界性仮定を課すことにより、実行ADMMおよび双対分解の導出を実施する。
• 再帰的誤差バウンド解析を用いて、最適解集合や作用素の収縮に関する摂動を含む時間変動条件下での収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 時間変動凸問題に、強い凸性や滑らかさを必要とせずに、実行可能アルゴリズムを拡張することは可能か？
• RQ2 問題パラメータが時間とともに変化する中で、実行可能固定点反復の収束をどのように保証できるか？
• RQ3 時間変動設定下での実行ADMMおよび双対分解の収束を保証する条件は何か？
• RQ4 マッン＝クリェノセルスキー反復を、時間変動する解を安定的かつ有界に追跡できるように適応可能か？
• RQ5 平均化作用素理論は、実行可能最適化アルゴリズムの統一と一般化において、果たす役割は何か？

主な発見

• 時間変動問題が強い凸性や滑らかさを持たない場合でも、マッン＝クリェノセルスキー反復の実行バージョンは弱い仮定のもとで収束することが保証される。
• 作用素論的解析により、投影勾配法、近位点法、前向き後向き分割法、双対勾配法の実行バージョンの収束が確立された。
• 最適解集合への有界な摂動仮定のもとで、実行ADMMおよび双対分解アルゴリズムの収束が証明された。
• 定量的誤差バウンドが導出された：作用素反復の平均二乗残差は、O(1/T) に比例する項に加え、時間変動摂動δに比例する項で有界である。
• 実行アルゴリズムの収束速度が、残差の平均二乗誤差においてO(1/T)であることが示され、摂動の大きさδおよび初期誤差に明示的な依存関係があることが明らかになった。
• 本フレームワークにより、従来の実行可能アルゴリズムの範囲外であったℓ₁正則化問題やその他の非滑らか問題に対しても収束解析が可能になった。