[論文レビュー] A Continuous-Time Nesterov Accelerated Gradient Method for Centralized and Distributed Online Convex Optimization

Chao Sun, Guoqiang Hu|arXiv (Cornell University)|Sep 26, 2020

Advanced Bandit Algorithms Research参考文献 31被引用数 4

ひとこと要約

本稿では、Bregmanラグランジアンフレームワークを活用して、有界性仮定のもとで時間枠$T$に依存しない定数の静的リグレット$ \frac{c}{\sigma}$を達成する、オンライン凸最適化のための連続時間Nesterov加速勾配法（OCT-NAG）を提案する。この手法は分散設定（DOCT-NAG）に拡張され、勾配の有界性やコンパクトな制約集合の仮定を必要とせず、$O(\sqrt{T})$の静的リグレットを達成する。

ABSTRACT

This paper studies the online convex optimization problem by using an Online Continuous-Time Nesterov Accelerated Gradient method (OCT-NAG). We show that the continuous-time dynamics generated by the online version of the Bregman Lagrangian achieves a constant static regret $\frac{c}σ$ independent of $T$, provided that some boundedness assumptions on the objective functions and optimal solutions hold. To the best of the authors' knowledge, this is the lowest static regret in the literature (lower than $O( ext{log}(T))$). We further show that under the same assumptions, the dynamic regret of the algorithm is $O(T)$, which is comparable with the existing methods. Simulation results validate the effectiveness and efficiency of the method. Furthermore, the simulation shows that the algorithm performs well in terms of the dynamic regret for some specific scaling conditions. In addition, we consider the application of the proposed online optimization method in distributed online optimization problems, and show that the proposed algorithm achieves an $O(\sqrt{T})$ static regret, which is comparable with the existing distributed online optimization methods. Different from these methods, the proposed method requires neither the gradient boundedness assumption nor the compact constraint set assumption, which allows different objective functions and different optimization problems with those in the literature. A comparable dynamic regret is obtained. Simulation results show the effectiveness and efficiency of the distributed algorithm.

研究の動機と目的

• 時間変動する凸目的関数に対して、証明可能な低リグレットを達成する連続時間オンライン最適化手法の開発。
• 連続時間ダイナミクスを用いてNesterov加速勾配法をオンラインおよび分散設定に拡張すること。
• 分散オンライン最適化における標準的な仮定（勾配の有界性やコンパクトな制約集合）を緩和すること。
• 異なるスケーリング条件の下での静的および動的リグレット性能の分析と比較。
• 集中型および分散型のシナリオにおけるシミュレーションを通じて手法の妥当性を検証すること。

提案手法

• 手法はBregmanラグランジアンの定式化を用いて、Nesterovの加速を一般化する連続時間ダイナミクスを導出する。
• ダイナミクスは、Bregmanラグランジアンのオイラー＝ラグランジュ方程式から導かれる2階常微分方程式に従う。
• 収束性とリグレット性能を調整するため、スケーリング条件$e^{\alpha_t + \beta_t} - \dot{\beta}_t e^{\beta_t} = \sigma(t + b_0)$が用いられる。
• 実装のための離散化が行われ、理論的リグレット境界を維持するようにパラメータが選択される。
• 分散最適化では、エージェント間で協調に基づく更新則が適用され、各エージェントがグローバル解の局所的推定値を維持する。
• 投影を避けて、連続時間ダイナミクスに依存して時間変動する最適解を追跡する。

実験結果

リサーチクエスチョン

• RQ1 連続時間Nesterov加速勾配法は、オンライン凸最適化において定数の静的リグレットを達成できるか？
• RQ2 スケーリング条件の選択が、提案された連続時間フレームワークにおけるリグレット性能にどのように影響するか？
• RQ3 提案手法は、緩い仮定のもとで分散オンライン最適化に拡張可能か？
• RQ4 時間変動する目的関数の下で、連続時間アルゴリズムの動的リグレット性能はいかほどか？
• RQ5 リグレットと収束性の観点から、既存の離散時間オンライン手法と比較して、本手法はどのように差をつけるか？

主な発見

• 提案されたOCT-NAGは、時間枠$T$に依存しない定数の静的リグレット$ \frac{c}{\sigma}$を達成する。これは、先行研究の$O(\log T)$の境界よりも低いリグレットを示しており、顕著な改善である。
• 同じ仮定のもとで、動的リグレットは$O(T)$となる。これは、既存手法と同等であり、理論的期待と整合的である。
• 分散設定（DOCT-NAG）では、$O(\sqrt{T})$の静的リグレットを達成し、最先端の分散オンライン最適化手法と同等の性能を示す。
• 勾配の有界性やコンパクトな制約集合の仮定を必要としないため、多様で時間変動する最適化問題への応用範囲が広がる。
• シミュレーションにより、動的リグレットの観点で、離散時間手法（例：オンライン勾配降下法、AdaGrad、FTAL）を上回ることが確認され、最適値との差が持続的に減少する。
• 分散版では、全エージェントが時間変動する最適解を高く精度で追跡し、推定値のずれが最小限に抑えられる。