[論文レビュー] A Dynamical Systems Perspective on Nonsmooth Constrained Optimization

Guilherme França, Daniel P. Robinson+1 more|arXiv (Cornell University)|Aug 13, 2018

Sparse and Compressive Sensing Techniques参考文献 33被引用数 11

ひとこと要約

本稿は、非滑らかで線形制約付き最適化問題に動的システムの視点を拡張し、Nesterovの方法による加速とPolyakのヘヴィーボール法にインspiredされた2つの新しいADMM変種について、連続時間微分包含を導出する。非滑らかなリャプノフ解析を用いて、凸および強凸設定における収束速度を確立し、2つの加速戦略の間のトレードオフを明らかにする。

ABSTRACT

The acceleration technique introduced by Nesterov for gradient descent is widely used in machine learning, but its principles are not yet fully understood. Recently, significant progress has been made to close this understanding gap through a continuous-time dynamical systems perspective associated with gradient methods for smooth and unconstrained problems. Here we extend this perspective to nonsmooth and linearly constrained problems by deriving nonsmooth dynamical systems related to variants of the relaxed and accelerated alternating direction method of multipliers (ADMM). We introduce two new ADMM variants, one based on Nesterov's acceleration and the other inspired by Polyak's heavy ball method, and derive differential inclusions modelling these algorithms in the continuous-time limit. Using a nonsmooth Lyapunov analysis, we obtain rate-of-convergence results for these dynamical systems in the convex and strongly convex setting that illustrate an interesting tradeoff between Nesterov and heavy ball acceleration.

研究の動機と目的

• 滑らかでない、非制約付き最適化から、非滑らかで線形制約付き問題への連続時間動的システムフレームワークの拡張。
• 収束の向上を図るため、Nesterovの加速とPolyakのヘヴィーボールモーメンタムを組み込んだ新しいADMM変種の開発。
• これらのアルゴリズムを連続時間極限においてモデル化するための微分包含の導出。
• 凸および強凸設定における非滑らかなリャプノフ関数を用いた収束速度の分析。
• 収束速度と安定性の観点から、Nesterov加速とヘヴィーボール加速の間のトレードオフの特徴付け。

提案手法

• 非滑らかで線形制約付きの目的関数を伴う、緩和および加速されたADMM変種の連続時間動的システムを微分包含を用いて導出。
• 滑らかな凸最適化のためのNesterovの最適法にインspiredされたモーメンタム項を組み込むことで、Nesterov加速ADMM変種を導入。
• 滑らか設定におけるより速い収束を実現するため、Polyakのヘヴィーボール法に基づくモーメンタム項を用いたヘヴィーボールにインspiredされたADMM変種を提案。
• 両アルゴリズムを非滑らかな微分包含としてモデル化し、離散時間アルゴリズムの動的挙動を連続時間で捉える。
• 微分包含の構造とリャプノフ関数の性質を活用して、非滑らかなリャプノフ解析を適用し、収束速度を確立。
• 凸および強凸仮定の下で、連続時間系の安定性および収束挙動を分析。

実験結果

リサーチクエスチョン

• RQ1 動的システムフレームワークは、非滑らかで線形制約付き最適化問題を扱うためにどのように拡張可能か？
• RQ2 Nesterov加速およびヘヴィーボールにインスパイアされたADMM変種の連続時間表現は何か？
• RQ3 これらの連続時間系は、凸および強凸設定においてどの程度の収束速度を示すか？
• RQ4 連続時間極限において、Nesterov加速とヘヴィーボール加速戦略は収束速度と安定性の観点でどのように比較されるか？
• RQ5 収束速度と耐障害性の観点から、2つの加速メカニズムの間にはどのようなトレードオフが存在するか？

主な発見

• 本稿は、微分包含を用いて、Nesterov加速およびヘヴィーボールにインスパイアされたADMM変種をモデル化する2つの新しい連続時間動的システムを導出する。
• 非滑らかなリャプノフ解析を用いて収束速度を確立し、凸ケースではO(1/t)の収束、強凸ケースでは指数的収束を示す。
• Nesterov加速系は、凸設定において標準ADMMよりも速い収束速度を達成しており、既知の離散時間結果と整合的である。
• ヘヴィーボールにインスパイアされた系は、局所的収束が速いが、安定性に劣る可能性があり、Nesterov加速と比較してトレードオフを示す。
• 解析により、Nesterov加速はより良好なグローバル収束保証を提供する一方、ヘヴィーボール加速は有利な条件下でより速い局所的収束を実現することが明らかになった。
• 連続時間フレームワークは、加速速度と耐障害性のトレードオフを効果的に捉えており、加速ADMM手法の設計に関する新たな知見を提供する。