[논문 리뷰] A Continuous-Time Nesterov Accelerated Gradient Method for Centralized and Distributed Online Convex Optimization

Chao Sun, Guoqiang Hu|arXiv (Cornell University)|2020. 09. 26.

Advanced Bandit Algorithms Research참고 문헌 31인용 수 4

한 줄 요약

이 논문은 연속 시간 Nesterov 가속 경사 하강법(OCT-NAG)을 제안하며, Bregman 라그랑지안 프레임워크를 활용하여 유한한 시간 범위 $T$ 와 무관하게 일정한 정적 리그레트 $rac{c}{ au}$ 를 달성한다. 이는 유계성 조건 하에서 성립한다. 이 방법은 분산 환경으로 확장되어 DOCT-NAG로 구현되었으며, 기울기 유계성이나 컴act 제약 집합의 필요 없이 $O( au)$ 정적 리그레트를 달성한다.

ABSTRACT

This paper studies the online convex optimization problem by using an Online Continuous-Time Nesterov Accelerated Gradient method (OCT-NAG). We show that the continuous-time dynamics generated by the online version of the Bregman Lagrangian achieves a constant static regret $\frac{c}σ$ independent of $T$, provided that some boundedness assumptions on the objective functions and optimal solutions hold. To the best of the authors' knowledge, this is the lowest static regret in the literature (lower than $O( ext{log}(T))$). We further show that under the same assumptions, the dynamic regret of the algorithm is $O(T)$, which is comparable with the existing methods. Simulation results validate the effectiveness and efficiency of the method. Furthermore, the simulation shows that the algorithm performs well in terms of the dynamic regret for some specific scaling conditions. In addition, we consider the application of the proposed online optimization method in distributed online optimization problems, and show that the proposed algorithm achieves an $O(\sqrt{T})$ static regret, which is comparable with the existing distributed online optimization methods. Different from these methods, the proposed method requires neither the gradient boundedness assumption nor the compact constraint set assumption, which allows different objective functions and different optimization problems with those in the literature. A comparable dynamic regret is obtained. Simulation results show the effectiveness and efficiency of the distributed algorithm.

연구 동기 및 목표

• 시간에 따라 변하는 볼록 목적함수에 대해 증명 가능한 낮은 리그레트를 갖는 연속 시간 온라인 최적화 방법을 개발하는 것.
• 연속 시간 동역학을 활용하여 Nesterov 가속 경사 하강법을 온라인 및 분산 환경으로 확장하는 것.
• 분산 온라인 최적화에서 표준 가정인 기울기 유계성 및 컴 pact 제약 집합의 필요성을 완화하는 것.
• 다양한 스케일링 조건 하에서 정적 및 동적 리그레트 성능을 분석하고 비교하는 것.
• 중앙집중적 및 분산적 상황에서의 시뮬레이션을 통해 방법을 검증하는 것.

제안 방법

• 방법은 Bregman 라그랑지안 설정을 활용하여 Nesterov의 가속을 일반화하는 연속 시간 동역학을 유도한다.
• 동역학은 Bregman 라그랑지안의 오일러-라그랑주 방정식에서 유도된 이阶 미분방정식으로 제어된다.
• 수렴 및 리그레트 성능를 조정하기 위해 스케일링 조건 $e^{\alpha_t + \beta_t} - \dot{\beta}_t e^{\beta_t} = \sigma(t + b_0)$ 이 사용된다.
• 구현을 위해 알고리즘은 이산화되며, 이론적 리그레트 경계를 유지하도록 매개변수들이 선택된다.
• 분산 최적화의 경우, 각 에이전트가 전역 해의 국소 추정치를 유지하며, 에이전트 간 공통화 기반 업데이트 법칙이 적용된다.
• 이 방법은 투영을 피하고, 시간에 따라 변하는 최적 해를 추적하기 위해 연속 시간 동역학에 의존한다.

실험 결과

연구 질문

• RQ1 연속 시간 Nesterov 가속 경사 하강법이 온라인 볼록 최적화에서 일정한 정적 리그레트를 달성할 수 있는가?
• RQ2 스케일링 조건의 선택이 제안된 연속 시간 프레임워크에서 리그레트 성능에 어떤 영향을 미치는가?
• RQ3 제안된 방법은 가정을 완화한 분산 온라인 최적화로 확장될 수 있는가?
• RQ4 시간에 따라 변하는 목적함수 하에서 연속 시간 알고리즘의 동적 리그레트 성능는 어떠한가?
• RQ5 기존 이산 시간 온라인 방법과 비교해 리그레트 및 수렴 성능 측면에서 이 방법은 어떻게 다른가?

주요 결과

• 제안된 OCT-NAG는 시간 범위 $T$ 와 무관하게 일정한 정적 리그레트 $rac{c}{ au}$ 를 달성하며, 이는 이전 연구에서의 $O(\log T)$ 경계보다 낮은 리그레트를 의미한다.
• 동일한 가정 하에서 동적 리그레트는 $O(T)$ 로 나타나며, 이는 기존 방법들과 유사하고 이론적 기대와 일치한다.
• 분산 환경에서의 DOCT-NAG는 $O(\sqrt{T})$ 정적 리그레트를 달성하며, 최첨단 분산 온라인 최적화 방법의 성능과 일치한다.
• 이 방법은 기울기 유계성 또는 컴 pact 제약 집합의 가정이 필요 없어, 다양한 시간에 따라 변하는 최적화 문제에 더 넓은 적용 가능성을 제공한다.
• 시뮬레이션 결과, 동적 리그레트 측면에서 이 알고리즘은 이산 시간 대비 우수한 성능을 보이며, 최적값과의 차이가 지속적으로 감소한다.
• 분산 버전은 모든 에이전트에서 시간에 따라 변하는 최적 해를 높은 정확도로 추적하며, 추정치의 편차가 최소한이다.