[論文レビュー] Inducing Uniform Asymptotic Stability in Time-Varying Accelerated Optimization Dynamics via Hybrid Regularization

Jorge I. Poveda, Na Li|arXiv (Cornell University)|May 28, 2019

Distributed Control Multi-Agent Systems被引用数 6

ひとこと要約

本稿では、かつて小さな摂動に対して不安定になりがちな、時間変化する連続時間加速最適化ダイナミクスの安定化を図るため、適切に定義されたリセット機構を導入したハイブリッド正則化フレームワークを提案する。この手法は、非ハイブリッド手法と同等の収束速度を維持しながら、一様漸近的安定性とロバスト性を保証する。

ABSTRACT

There have been many recent efforts to study accelerated optimization algorithms from the perspective of dynamical systems. In this paper, we focus on the robustness properties of the time-varying continuous-time version of these dynamics. These properties are critical for the implementation of accelerated algorithms in feedback-based control and optimization architectures. We show that a family of dynamics related to the continuous-time limit of Nesterov's accelerated gradient method can be rendered unstable under arbitrarily small bounded disturbances. Indeed, while solutions of these dynamics may converge to the set of optimizers, in general, this set may not be uniformly asymptotically stable. To induce uniformity, and robustness as a byproduct, we propose a framework where we regularize the dynamics by using resetting mechanisms that are modeled by well-posed hybrid dynamical systems. For these hybrid dynamics, we establish uniform asymptotic stability and robustness properties, as well as convergence rates that are similar to those of the non-hybrid dynamics. We finish by characterizing a family of discretization mechanisms that retain the main stability and robustness properties of the hybrid algorithms.

研究の動機と目的

• ネステロフの加速勾配法から導かれる時間変化する連続時間ダイナミクスにおける一様漸近的安定性の欠如を解消すること。
• 収束が最適化集合に到達するにもかかわらず、任意に小さな有界な摂動に対して不安定化する理由を特定すること。
• このようなダイナミクスにおける一様漸近的安定性とロバスト性を誘導する正則化フレームワークを構築すること。
• 元の非ハイブリッドダイナミクスと同等の収束速度を維持すること。
• ハイブリッドアルゴリズムの安定性およびロバスト性の性質を保持する離散化スキームの設計すること。

提案手法

• 適切に定義されたリセット機構を備えたハイブリッド力学系を導入し、時間変化する加速最適化ダイナミクスを正則化すること。
• 状態に依存するリセットをモデル化することで、収束挙動に影響を与えることなく安定性を強制すること。
• ハイブリッド系に特化したラプラシアンに基づく解析を用いて、一様漸近的安定性を確立すること。
• ハイブリッドフレームワークの安定性解析を通じて、有界な摂動に対するロバスト性の保証を導出すること。
• 連続時間ハイブリッドダイナミクスの安定性およびロバスト性を保持する離散化手法の族を同定すること。
• 正則化の対象となる基本的なダイナミクスとして、ネステロフ法の連続時間極限を用いること。

実験結果

リサーチクエスチョン

• RQ1 なぜ時間変化する連続時間加速ダイナミクスは、小さな有界な摂動に対して一様漸近的安定性を達成できないのか？
• RQ2 このような不安定なダイナミクスに対して、一様漸近的安定性を誘導する正則化機構を設計可能か？
• RQ3 ハイブリッドリセット機構は、元の非ハイブリッドダイナミクスと比較して収束速度にどのような影響を与えるか？
• RQ4 提案されたハイブリッドフレームワークにおいて、摂動に対するロバスト性を形式的に保証する方法は何か？
• RQ5 どの離散化スキームが、ハイブリッド連続時間ダイナミクスの安定性およびロバスト性の性質を保持するか？

主な発見

• ネステロフの加速勾配法の連続時間極限は、最適化集合に収束するが、任意に小さな有界な摂動に対して不安定であることが示された。
• 提案されたハイブリッド正則化フレームワークにより、時間変化するダイナミクスにおける一様漸近的安定性が保証された。
• ハイブリッド機構によって誘導される一様漸近的安定性の直接的結果として、有界な摂動に対するロバスト性が達成された。
• ハイブリッドダイナミクスの収束速度は、元の非ハイブリッドダイナミクスと同等のものであることが確認された。
• ハイブリッドアルゴリズムの安定性およびロバスト性の性質を保持する離散化メカニズムの族が同定された。
• ハイブリッド系の定式化は、フィードバックベースの制御および最適化アーキテクチャへの実装に適した適切に定義されたフレームワークを提供する。