[論文レビュー] Dynamic Regret Analysis of Safe Distributed Online Optimization for Convex and Non-convex Problems

T. T. Chang, Sapana Chaudhary+2 more|arXiv (Cornell University)|Feb 23, 2023

Stochastic Gradient Optimization Techniques被引用数 4

ひとこと要約

本稿では、未知の線形制約のもとで安全を保ちながら動的リグレットを最小化する分散オンライン最適化アルゴリズム D-Safe-OGD を提案する。協調的制約推定とオンライン勾配降下法を組み合わせ、凸問題では $O(T^{2/3}\text{polylog}(T) + T^{1/3}C_T^*)$、特定の非凸問題では $O(T^{2/3}\text{polylog}(T) + T^{2/3}C_T^*)$ の動的リグレットバウンドを達成し、非凸な安全分散設定における初めてのこのようなバウンドを確立する。

ABSTRACT

This paper addresses safe distributed online optimization over an unknown set of linear safety constraints. A network of agents aims at jointly minimizing a global, time-varying function, which is only partially observable to each individual agent. Therefore, agents must engage in local communications to generate a safe sequence of actions competitive with the best minimizer sequence in hindsight, and the gap between the two sequences is quantified via dynamic regret. We propose distributed safe online gradient descent (D-Safe-OGD) with an exploration phase, where all agents estimate the constraint parameters collaboratively to build estimated feasible sets, ensuring the action selection safety during the optimization phase. We prove that for convex functions, D-Safe-OGD achieves a dynamic regret bound of $O(T^{2/3} \sqrt{\log T} + T^{1/3}C_T^*)$, where $C_T^*$ denotes the path-length of the best minimizer sequence. We further prove a dynamic regret bound of $O(T^{2/3} \sqrt{\log T} + T^{2/3}C_T^*)$ for certain non-convex problems, which establishes the first dynamic regret bound for a safe distributed algorithm in the non-convex setting.

研究の動機と目的

• 未知の線形安全制約のもとでの分散オンライン最適化を扱い、エージェントが時間変動するグローバルな目的関数を共同で最小化することを目的とする。
• グローバル関数の部分的観測と未知の制約がある中で、最適化中の行動の安全性を保証することを目的とする。
• 最適化の最小化子の系列のパス長 $C_T^*$ に比例する動的リグレットバウンドを導出し、時間変動環境への適応性を反映することを目的とする。
• 安全制約のもとでの非凸問題への動的リグレット解析を分散オンライン学習に拡張し、これまで未解決であったギャップを埋めることを目的とする。

提案手法

• 未知の制約パラメータの協調的推定のための専用の探索フェーズを備えた分散オンライン勾配降下法である D-Safe-OGD を提案する。
• エージェントのネットワークを用いて局所的通信を通じて実行可能集合を共同で推定し、最適化中の安全性を保証する。
• リグレット解析に Bregman 散発とオンラインミラー降下法を用い、双対変数と射影更新を組み込む。
• 二段階戦略を導入：初期の探索フェーズで制約を推定し、その後に安全保証付きで最適化を実行する。
• 再パラメータ化と幾何的仮定を用いて、凸リグレット解析を非凸設定に拡張する。
• 環境の変動を測る指標としてパス長 $C_T^*$ を用い、性能と時間的安定性の関連を確立する。

実験結果

リサーチクエスチョン

• RQ1 未知の線形制約のもとで、分散オンライン最適化アルゴリズムが安全を保ちながらサブラインアーな動的リグレットを達成できるか？
• RQ2 未知の安全制約を伴う凸分散オンライン最適化における動的リグレットバウンドは何か？
• RQ3 安全制約のもとでの非凸問題への動的リグレット解析は、分散設定に拡張可能か？
• RQ4 時間変動環境において、最適な系列のパス長 $C_T^*$ はリグレットバウンドにどのように影響するか？
• RQ5 分散オンライン学習において、制約推定のための探索とリグレット最小化の間にはどのようなトレードオフがあるか？

主な発見

• 凸問題では、D-Safe-OGD は $O(T^{2/3}\text{polylog}(T) + T^{1/3}C_T^*)$ の動的リグレットバウンドを達成する。ここで $C_T^*$ は最適な系列のパス長である。
• 特定の非凸問題では、アルゴリズムは $O(T^{2/3}\text{polylog}(T) + T^{2/3}C_T^*)$ の動的リグレットバウンドを達成し、安全分散非凸設定における初めての結果である。
• リグレットバウンドは時間 $T$ に対してサブラインアーに増加するため、環境の変化があっても時間の経過とともに最適な系列に収束することが示唆される。
• 探索フェーズにより、未知の制約パラメータの正確な推定が可能となり、事前の知識なしに安全性が保証される。
• 非滑らかで非凸な目的関数に対処するため、Bregman 散発とオンラインミラー降下法の技術が解析に活用される。
• 導出されたバウンドは $T$ および $C_T^*$ に関してタイトであり、凸ケースでの既知の下界と一致し、非凸および安全な設定にまで拡張されている。