[論文レビュー] Distributed Online Convex Optimization with an Aggregative Variable

Xiuxian Li, Xinlei Yi+1 more|arXiv (Cornell University)|Jul 14, 2020

Advanced Bandit Algorithms Research参考文献 29被引用数 7

ひとこと要約

本稿では、各エージェントの局所的損失関数が自らの意思決定と全エージェントの意思決定の平均に依存する「集約変数」を伴う分散オンライン凸最適化のための、オンライン分散勾配追跡（O-DGT）アルゴリズムを提案する。この手法は、ノイズのある勾配でさえも、経路変動と勾配変動の項を含む、非線形の動的リグレットを達成する。これは、マルチエージェントシステムにおけるこのような集約的依存関係を伴うオンライン最適化の研究として、初めてのものである。

ABSTRACT

This paper investigates distributed online convex optimization in the presence of an aggregative variable without any global/central coordinators over a multi-agent network, where each individual agent is only able to access partial information of time-varying global loss functions, thus requiring local information exchanges between neighboring agents. Motivated by many applications in reality, the considered local loss functions depend not only on their own decision variables, but also on an aggregative variable, such as the average of all decision variables. To handle this problem, an Online Distributed Gradient Tracking algorithm (O-DGT) is proposed with exact gradient information and it is shown that the dynamic regret is upper bounded by three terms: a sublinear term, a path variation term, and a gradient variation term. Meanwhile, the O-DGT algorithm is also analyzed with stochastic/noisy gradients, showing that the expected dynamic regret has the same upper bound as the exact gradient case. To our best knowledge, this paper is the first to study online convex optimization in the presence of an aggregative variable, which enjoys new characteristics in comparison with the conventional scenario without the aggregative variable. Finally, a numerical experiment is provided to corroborate the obtained theoretical results.

研究の動機と目的

• 局所的損失関数が個々の意思決定だけでなく、全エージェントの意思決定の平均（例：平均的意思決定）に依存する分散オンライン凸最適化を、マルチエージェントネットワークで取り扱うことを目的とする。
• 中央集権的なコーディネータを排除しつつ、隣接エージェント間のローカル通信によってプライバシーを保ちながら協調を実現することを目的とする。
• 時間変動する、場合によっては敵対的な損失関数を扱える分散オンラインアルゴリズムを設計することを目的とする。この損失関数には、グローバルな集約的依存関係が含まれる。
• 経路変動と勾配変動を考慮した、正確な勾配とノイズのある勾配の両設定下での動的リグレットの理論的境界を確立することを目的とする。
• 既存の文献における重要なギャップを埋めるために、分散環境下での集約変数を伴うオンライン最適化のための、初めての理論的枠組みを提供することを目的とする。

提案手法

• 局所的勾配降下法と、意思決定のグローバル平均の分散追跡を組み合わせた、オンライン分散勾配追跡（O-DGT）アルゴリズムを提案する。
• グローバル平均の推定に勾配追跡機構を用い、各エージェントが隣接エージェントとの通信を通じて間接的に集約変数にアクセスできるようにする。
• 収束とリグレットのバランスを図るため、減少するステップサイズルール $\alpha_t$ を採用し、非線形の動的リグレットを保証する。
• リグレットを3つの成分に分解する、革新的な解析フレームワークを導入する：非線形項、経路変動、勾配変動。
• 有界なノイズを仮定した確率的勾配を組み込むことで、アルゴリズムを確率的勾配に適応し、期待リグレットが正確な勾配の場合と同様に非線形のまま保たれることを証明する。
• 行列解析とリャプノフ型の議論を活用し、エージェントの推定値がグローバル平均および最適軌道から逸脱する度合いを制御する。

実験結果

リサーチクエスチョン

• RQ1 局所的損失関数が、全エージェントの意思決定の平均といったグローバルな集約変数に依存する場合、分散オンライン凸最適化は効果的に解けるか？
• RQ2 時間変動する損失関数を伴うこのような分散的・集約的設定下での、動的リグレットの根本的限界は何か？
• RQ3 ノイズのあるまたは確率的勾配が、集約変数を伴う分散オンラインアルゴリズムの性能とリグレット境界にどのように影響を与えるか？
• RQ4 中央コーディネータやグローバル情報に依存せず、分散アルゴリズムが非線形の動的リグレットを達成できるか？
• RQ5 分散オンライン設定下で損失関数が集団的・非局所的変数に依存する場合、リグレットを分析する上で生じる新たな理論的課題は何か？

主な発見

• O-DGTアルゴリズムは、正確な勾配でも、$O(\sqrt{T})$ の動的リグレット上界に加え、経路変動および勾配変動に起因する項を達成する。
• 確率的勾配の下では、期待動的リグレットが正確な勾配の場合と同様に非線形の境界を維持する。これは、ノイズに対して強いロバストネスを示している。
• グローバル平均の追跡誤差（すなわち、$\|y_t - \mathbf{1}_N \otimes \bar{y}_t\|$）が有界に保たれることを保証しており、収束にとって極めて重要である。
• 減少するステップサイズ $\alpha_t$ を用いることで、エージェントの意思決定と最適軌道との乖離が制御され、$\|x_t - x_t^*\|$ が $O(1/\alpha_T)$ で有界であることが示された。
• 解析により、コンSENSUS誤差と勾配ノイズの影響が定量的に制御されており、$O(\sum \alpha_t)$ および $O(\sum \alpha_t \|y_t - \mathbf{1}_N \otimes \bar{y}_t\|^2)$ のスケーリングに従う項が得られた。
• 数値実験により理論的予測が検証され、集約的依存関係を伴う動的かつ分散環境下でも、低リグレットを達成できることが示された。