[논문 리뷰] Inducing Uniform Asymptotic Stability in Time-Varying Accelerated Optimization Dynamics via Hybrid Regularization

Jorge I. Poveda, Na Li|arXiv (Cornell University)|2019. 05. 28.

Distributed Control Multi-Agent Systems인용 수 6

한 줄 요약

이 논문은 이전에 작은 외란 하에서 불안정성이 발생하기 쉬운 시간에 따라 변하는 연속시간 가속 최적화 동역학을 안정화하기 위해 잘 정의된 재설정 메커니즘을 도입한 하이브리드 정규화 프레임워크를 제안한다. 이 방법은 균일 점근적 안정성과 강건성을 확보하면서도 비하이브리드 대비와 유사한 수렴 속도를 유지한다.

ABSTRACT

There have been many recent efforts to study accelerated optimization algorithms from the perspective of dynamical systems. In this paper, we focus on the robustness properties of the time-varying continuous-time version of these dynamics. These properties are critical for the implementation of accelerated algorithms in feedback-based control and optimization architectures. We show that a family of dynamics related to the continuous-time limit of Nesterov's accelerated gradient method can be rendered unstable under arbitrarily small bounded disturbances. Indeed, while solutions of these dynamics may converge to the set of optimizers, in general, this set may not be uniformly asymptotically stable. To induce uniformity, and robustness as a byproduct, we propose a framework where we regularize the dynamics by using resetting mechanisms that are modeled by well-posed hybrid dynamical systems. For these hybrid dynamics, we establish uniform asymptotic stability and robustness properties, as well as convergence rates that are similar to those of the non-hybrid dynamics. We finish by characterizing a family of discretization mechanisms that retain the main stability and robustness properties of the hybrid algorithms.

연구 동기 및 목표

• 네스테로프의 가속 경사 하강법에서 유도된 시간에 따라 변하는 연속시간 동역학에서 균일 점근적 안정성의 부족을 해결하기 위해.
• 이러한 동역학이 최적화자 집합으로 수렴함에도 불구하고 임의로 작은 유계 외란 하에서 불안정해질 수 있는 이유를 규명하기 위해.
• 이러한 동역학에서 균일 점근적 안정성과 강건성을 유도하는 정규화 프레임워크를 개발하기 위해.
• 원래의 비하이브리드 동역학과 유사한 수렴 속도를 유지하기 위해.
• 하이브리드 알고리즘의 안정성과 강건성 특성을 유지하는 이산화 방법을 설계하기 위해.

제안 방법

• 잘 정의된 재설정 메커니즘을 갖춘 하이브리드 동역계를 도입하여 시간에 따라 변하는 가속 최적화 동역학을 정규화하기 위해.
• 상태에 따라 결정되는 재설정을 통해 수렴 행동을 방해하지 않으면서도 안정성을 강제하는 정규화를 모델링하기 위해.
• 하이브리드 시스템에 특화된 라플라스 기반 분석을 사용하여 균일 점근적 안정성을 확립하기 위해.
• 하이브리드 프레임워크의 안정성 분석을 통해 유계 외란에 대한 강건성 보장을 도출하기 위해.
• 연속시간 하이브리드 동역학의 안정성과 강건성을 유지하는 이산화 방법의 가족을 특성화하기 위해.
• 정규화할 기반 동역학으로 네스테로프 방법의 연속시간 극한을 활용하기 위해.

실험 결과

연구 질문

• RQ1 시간에 따라 변하는 연속시간 가속 동역학은 소규모 유계 외란 하에서 왜 균일 점근적 안정성을 확보하지 못하는가?
• RQ2 이러한 불안정한 동역학에서 균일 점근적 안정성을 유도할 수 있는 정규화 메커니즘이 설계될 수 있는가?
• RQ3 비하이브리드 동역학과 비교해 볼 때 하이브리드 재설정 메커니즘은 수렴 속도에 어떤 영향을 미치는가?
• RQ4 제안된 하이브리드 프레임워크에서 외란에 대한 강건성이 어떻게 공식적으로 보장될 수 있는가?
• RQ5 어떤 이산화 방법이 하이브리드 연속시간 동역학의 안정성과 강건성 특성을 유지하는가?

주요 결과

• 네스테로프의 가속 경사 하강법의 연속시간 극한은 최적화자 집합으로 수렴함에도 불구하고, 임의로 작은 유계 외란 하에서 불안정성을 보인다.
• 제안된 하이브리드 정규화 프레임워크는 시간에 따라 변하는 동역학에 대해 균일 점근적 안정성을 보장한다.
• 유계 외란에 대한 강건성은 하이브리드 메커니즘이 유도하는 균일 점근적 안정성의 직접적인 결과로 달성된다.
• 하이브리드 동역학의 수렴 속도는 원래의 비하이브리드 동역학과 유사하다.
• 하이브리드 알고리즘의 안정성과 강건성을 유지하는 이산화 메커니즘의 가족이 규명되었다.
• 하이브리드 시스템 공식화는 피드백 기반 제어 및 최적화 아키텍처에 구현하기에 잘 정의된 프레임워크를 제공한다.