[論文レビュー] Relax, and Accelerate: A Continuous Perspective on ADMM

Guilherme França, Daniel P. Robinson+1 more|arXiv (Cornell University)|Aug 13, 2018

Sparse and Compressive Sensing Techniques被引用数 1

ひとこと要約

本稿は、連続時間力学的システムのアプローチを用いて、異なる減衰タイプを有する微分包含を用いてモデル化する2つの新しい高速化ADMM変種を導入する。非滑らかリャプノフ解析を通じて、凸および強凸設定における収束速度を確立し、非滑らかで制約付き最適化における減衰戦略（時間に依存する減衰と定数減衰）のトレードオフを明らかにする。

ABSTRACT

The acceleration technique introduced by Nesterov for gradient descent is widely used in optimization but its principles are not yet fully understood. Recently, significant progress has been made to close this understanding gap through a continuous time dynamical systems perspective associated with gradient based methods for smooth and unconstrained problems. Here we extend this perspective to nonsmooth and constrained problems by deriving nonsmooth dynamical systems related to variants of the relaxed and accelerated alternating direction method of multipliers (ADMM). More specifically, we introduce two new accelerated ADMM variants, depending on two types of dissipation, and derive differential inclusions that model these algorithms in the continuous time limit. Through a nonsmooth Lyapunov analysis, we obtain rates of convergence for these dynamical systems in the convex and strongly convex settings that illustrate an interesting tradeoff between decaying versus constant damping strategies.

研究の動機と目的

• 滑らかで制約なし勾配法に既に適用されてきた連続時間力学的システムの視点を、非滑らかで制約付き最適化問題へ拡張すること。
• 特に非滑らかで制約付き設定において、ネステロフ型加速の理解が限られていることに対処すること。
• 連続時間枠組みにおいて2つの異なる減衰機構を組み込むことで、新しい高速化ADMM変種を導出すること。
• 凸および強凸設定において、非滑らかリャプノフ関数を用いた連続系の収束速度を分析すること。
• 制約付きで非滑らかな問題における時間に依存する減衰と定数減衰戦略の収束性能に関するトレードオフを解明すること。

提案手法

• リラックスおよび高速化されたADMM変種のダイナミクスを極限において捉えるため、連続時間の微分包含を導出する。
• 異なる加速行動をモデル化するため、時間に依存する減衰と定数減衰の2種類の減衰を力学的システムに導入する。
• 導出された連続系の収束速度を確立するために、非滑らかリャプノフ解析を適用する。
• 非滑らかで凸的および強凸的な関数に特化したリャプノフ関数フレームワークを用いて、システムの安定性および収束速度を分析する。
• ADMM更新規則に現れる部分微分の生じる非滑らかダイナミクスをモデル化するために、微分包含に依存する。
• 連続系の軌道に沿ったリャプノフ関数の減衰率を分析することで、収束速度を確立する。

実験結果

リサーチクエスチョン

• RQ1 連続時間力学的システムフレームワークは、非滑らかで制約付き問題のための高速化ADMMをモデル化するためにどのように拡張可能か？
• RQ2 ADMMの連続時間極限において、異なる減衰機構（時間に依存する減衰対照に定数減衰）が収束行動に与える影響は何か？
• RQ3 非滑らかリャプノフ解析は、凸および強凸設定における連続時間ADMM変種の収束速度を明示的に示せるか？
• RQ4 非滑らかで制約付き最適化において、減衰戦略の収束速度と安定性の観点から、どのようなトレードオフが存在するか？
• RQ5 連続時間の視点は、勾配降下法におけるネステロフ法に類似したADMMにおける加速メカニズムをどのように明確にするか？

主な発見

• 本稿は、時間に依存する減衰と定数減衰の異なる減衰機構を有する2つの新しい連続時間力学的システムを導出し、高速化ADMM変種をモデル化する。
• 凸設定では、連続系がリャプノフ関数に対してO(1/t)の収束速度を達成しており、高速化手法に既知のレートと整合的である。
• 強凸設定では、システムは指数的収束速度を示し、その減衰率は減衰の選択に依存する。
• 解析により、根本的なトレードオフが明らかになった：時間に依存する減衰は初期の速い減衰をもたらすが、ロバストネスを損なう可能性がある。一方、定数減衰は安定で一様な収束を保証する。
• 部分微分と非滑らか項がダイナミクスに存在する中でも、非滑らかリャプノフ解析が収束速度の確立に成功した。
• 結果として、滑らかで制約なし最適化に限られていた連続時間の視点が、非滑らかで制約付き問題、特にADMMの広いクラスへと拡張された。