[論文レビュー] Multi-Agent Online Optimization with Delays: Asynchronicity, Adaptivity, and Optimism

Yu-Guan Hsieh, Franck Iutzeler+2 more|arXiv (Cornell University)|Dec 21, 2020

Advanced Bandit Algorithms Research参考文献 71被引用数 10

ひとこと要約

本稿では、遅延および非同期性を伴う状況下でのマルチエージェントオンライン最適化に対して、分散型で適応的な二重平均アルゴリズムを提案する。依存性グラフと累積フィードバックに基づく適応的学習率を活用することで、グローバルな調整や共有クロックがなくても、最適な O(√(τNM_max)) のレジーットバウンドを達成する。

ABSTRACT

In this paper, we provide a general framework for studying multi-agent online learning problems in the presence of delays and asynchronicities. Specifically, we propose and analyze a class of adaptive dual averaging schemes in which agents only need to accumulate gradient feedback received from the whole system, without requiring any between-agent coordination. In the single-agent case, the adaptivity of the proposed method allows us to extend a range of existing results to problems with potentially unbounded delays between playing an action and receiving the corresponding feedback. In the multi-agent case, the situation is significantly more complicated because agents may not have access to a global clock to use as a reference point; to overcome this, we focus on the information that is available for producing each prediction rather than the actual delay associated with each feedback. This allows us to derive adaptive learning strategies with optimal regret bounds, even in a fully decentralized, asynchronous environment. Finally, we also analyze an "optimistic" variant of the proposed algorithm which is capable of exploiting the predictability of problems with a slower variation and leads to improved regret bounds.

研究の動機と目的

• 遅延および非同期フィードバックを伴うマルチエージェントシステムにおけるオンライン学習を解決すること。
• グローバルな調整や共有クロックを必要としない分散型アルゴリズムを設計すること。
• データおよび遅延の特性に依存する最適なレジーットバウンドを達成すること。
• 元々単一エージェント設定で用いられる適応的学習手法を、完全に非同期なマルチエージェント環境へと拡張すること。
• 環境の変化がゆっくりである場合に、レジーットを改善するための楽観的バージョンを分析すること。

提案手法

• フィードバックの受信および使用をモデル化するために、有向無閉路グラフ（DAG）である依存性グラフを導入する。
• 累積されたフィードバック要素の数に基づく適応的学習率を用いる。これは逆ルート和則にインspiredされている。
• 滑らかでない、時間的に変化する損失関数を扱うために、ミラー降下を用いた二重平均フレームワークを適用する。
• 学習率の更新が非単調になるのを管理するために、フィードバックインデックスの忠実な置換を用いる。
• ミラー写像の非拡大性と、エージェント間での勾配のずれのバウンドを用いて、レジーットバウンドを導出する。
• 環境の変化がゆっくりである場合に、予測可能性を活用してレジーットを改善する楽観的バージョンを提案する。

実験結果

リサーチクエスチョン

• RQ1 任意の遅延とグローバルクロックが存在しない状況下でも、適応的で分散型のオンライン学習が可能か？
• RQ2 無限大の遅延を伴う非同期的で分散型のマルチエージェントオンライン最適化において、どのようなレジーットバウンドが達成可能か？
• RQ3 分散型環境で実装可能であると同時に適応的な学習率をどのように設計できるか？
• RQ4 非同期性下で、環境の変化がゆっくりである場合に、楽観的アプローチがレジーット性能を向上させられるか？
• RQ5 フィードバックの非単調性およびエージェント間での更新頻度の非一様性が、レジーットに与える影響は何か？

主な発見

• 提案された分散型遅延付き二重平均（D-DDA）アルゴリズムは、O(√(τNM_max)) の集団的レジーットを達成する。これは与えられた仮定のもとで最適である。
• 学習率 η_i,t = R/(G√((5τ+3)(card(S_i,t) + (τ+1)M_max)M_max)) は、各エージェントがローカルなフィードバックカウントのみを用いて実装可能である。
• フィードバックの到着が非単調であっても、エージェントがグローバルな時刻参照にアクセスできない状況でも、本手法は有効に機能する。
• アルゴリズムの楽観的バージョンは、環境の変化がゆっくりであることを活用して、レジーットバウンドを改善する。
• 解析により、本アルゴリズムは無限大の遅延が存在しても最適なレジーットを維持することが示された。これは、従来の単一エージェントの結果を、マルチエージェントで非同期な環境へと拡張したものである。
• 依存性グラフフレームワークにより、分散型システムにおけるフィードバックタイミングと学習率の適応の厳密な解析が可能になった。