[論文レビュー] A Distributed Online Convex Optimization Algorithm with Improved Dynamic Regret

Yan Zhang, Robert Ravier+2 more|arXiv (Cornell University)|Nov 12, 2019

Advanced Bandit Algorithms Research参考文献 18被引用数 4

ひとこと要約

本稿では、強い凸性のもとで、時間ステップ数に明示的な依存がない動的リグレットを達成するために、勾配追跡を用いた分散型オンライン凸最適化アルゴリズムを提案する。局所的通信による勾配ステップの補正を通じて、経路長正則性にのみ依存するサブ線形リグレットを保証する。従来の手法に比べ、収束性とステップサイズのロバスト性が向上する。

ABSTRACT

In this paper, we consider the problem of distributed online convex optimization, where a network of local agents aim to jointly optimize a convex function over a period of multiple time steps. The agents do not have any information about the future. Existing algorithms have established dynamic regret bounds that have explicit dependence on the number of time steps. In this work, we show that we can remove this dependence assuming that the local objective functions are strongly convex. More precisely, we propose a gradient tracking algorithm where agents jointly communicate and descend based on corrected gradient steps. We verify our theoretical results through numerical experiments.

研究の動機と目的

• 既存の分散型オンライン凸最適化アルゴリズムが時間ステップ数に伴い動的リグレットが増大するという限界を解消すること。
• 強い凸性と勾配追跡を活用して、動的リグレットの境界における明示的な時間依存性を排除すること。
• 従来の手法に比べ、収束が速く、ステップサイズの許容範囲が広い分散型アルゴリズムを設計すること。
• 分散追跡シナリオにおける数値実験を通じて、理論的改善を検証すること。

提案手法

• エージェントはグローバル勾配の局所的推定値を維持し、近隣からの情報を使って勾配ステップを補正する勾配追跡メカニズムを採用する。
• 各エージェントは固定ステップサイズと、自身および近隣の勾配の重み付き平均を用いて局所変数を更新し、勾配推定値の一致を保証する。
• 動的リグレットを制限するために、最適解の経路長正則性と勾配の経路長正則性の両方を組み込む。
• ネットワーク全体での収束を保証するため、二重確率的重み行列の使用が鍵となる。
• 最近のオフライン進展にインspiredされ、勾配補正を施した分散型勾配降下法のオンライン拡張としてアルゴリズムを導出する。
• 理論的分析により、強い凸性のもとで、明示的なT依存性がないO(√P_T)の動的リグレットスケーリングが確立される。

実験結果

リサーチクエスチョン

• RQ1 分散型オンライン凸最適化における動的リグレットは、時間ステップ数Tに明示的な依存がない形で境界づけられるか？
• RQ2 強い凸性は、分散型オンライン設定における改善されたリグレット境界をどのように実現するか？
• RQ3 勾配追跡技術はオンライン設定に適応可能であり、収束性とステップサイズのロバスト性を向上させ得るか？
• RQ4 勾配経路長正則性は、分散型オンラインアルゴリズムの性能にどのような影響を及ぼすか？
• RQ5 動的環境下でのリグレットと追跡精度の観点から、提案手法は既存手法と比較してどのように差をつけるか？

主な発見

• 提案手法は、動的リグレットがO(√P_T)で有界であることを達成し、時間ステップ数Tに明示的な依存がない。ここでP_Tは最適解の経路長を表す。
• リグレット境界は経路長正則性にのみ依存し、強い凸性のおかげで境界に時間依存項が不要であることが示された。
• 数値実験では、勾配追跡を用いないベースラインの分散型オンライン勾配降下法に比べ、より低いリグレットと優れた追跡性能を達成した。
• 従来の手法より大きなステップサイズを許容でき、ステップサイズが1/(2L_g)であっても安定性と収束性を維持できるのに対し、ベースラインは発散した。
• 分散追跡シミュレーションでは、エージェントが複数の移動ターゲットを最小限の誤差で追跡でき、リグレットは経路長正則性と同程度の速度で増加した。
• 追跡例において、勾配経路長正則性V_TはP_Tと同階層のオーダーであることが判明し、理論的仮定の妥当性が裏付けられた。