[論文レビュー] Decentralized Online Convex Optimization in Networked Systems

Yiheng Lin, Judy Gan+3 more|arXiv (Cornell University)|Jul 13, 2022

Distributed Control Multi-Agent Systems被引用数 5

ひとこと要約

本稿では、時間的および空間的相互作用を含むグローバルコストを最小化するために、局所的予測と近隣情報を利用するネットワーク化システム向けの新規分散型オンライン凸最適化アルゴリズムである局所的予測制御（LPC）を導入する。LPCは、予測期間 $k$ および通信半径 $r$ が増加するに従い指数的に 1 に近づく $1 + \tilde{O}(\rho_T^k) + \tilde{O}(\rho_S^r)$ の競合比を達成し、この依存関係が近似的に最適であることを、一致する下界を用いて証明する。

ABSTRACT

We study the problem of networked online convex optimization, where each agent individually decides on an action at every time step and agents cooperatively seek to minimize the total global cost over a finite horizon. The global cost is made up of three types of local costs: convex node costs, temporal interaction costs, and spatial interaction costs. In deciding their individual action at each time, an agent has access to predictions of local cost functions for the next $k$ time steps in an $r$-hop neighborhood. Our work proposes a novel online algorithm, Localized Predictive Control (LPC), which generalizes predictive control to multi-agent systems. We show that LPC achieves a competitive ratio of $1 + ilde{O}(ρ_T^k) + ilde{O}(ρ_S^r)$ in an adversarial setting, where $ρ_T$ and $ρ_S$ are constants in $(0, 1)$ that increase with the relative strength of temporal and spatial interaction costs, respectively. This is the first competitive ratio bound on decentralized predictive control for networked online convex optimization. Further, we show that the dependence on $k$ and $r$ in our results is near optimal by lower bounding the competitive ratio of any decentralized online algorithm.

研究の動機と目的

• ネットワーク化システムにおける時間的および空間的相互作用コストを効果的に取り扱う分散型オンラインアルゴリズムの設計。
• 局所的予測と限定的な近隣情報に基づいて、予測制御をマルチエージェント設定に統合すること。
• 敵対的コスト系列下での分散型オンライン最適化のための競合比の上限を確立すること。
• 性能に与える予測期間 $k$ と通信半径 $r$ のトレードオフを定量化すること。
• 下界を用いて、アルゴリズムの $k$ および $r$ 依存性の最適性を証明すること。

提案手法

• 分散型マルチエージェントシステムに特化した予測制御フレームワークとして、局所的予測制御（LPC）を提案する。
• 各エージェントは、自身の $r$ ホップ以内の近隣において、次の $k$ ステップの局所的コストの予測を用いて意思決定を行う。
• LPC は、凸ノードコスト、時間的相互作用コスト、空間的相互作用コストから成るグローバルコスト関数を最小化する。
• 局所的情報に基づくリcedevingホライズン最適化戦略を用いることで、スケーラビリティと低通信オーバーヘッドを確保する。
• 理論的分析により、時間的および空間的相互作用強度に依存する減衰係数 $\rho_T$ と $\rho_S$ を含む競合比の上限を導出する。
• 任意の分散型アルゴリズムに対して競合比の下界を確立し、$\Omega(\lambda_T^k) + \Omega(\lambda_S^r)$ の依存性を示すことにより、近似的に最適性を証明する。

実験結果

リサーチクエスチョン

• RQ1 敵対的ネットワーク化オンライン凸最適化において、時間的および空間的コストを伴う分散型アルゴリズムが、1 に近い競合比を達成できるか？
• RQ2 予測期間 $k$ と通信半径 $r$ は、アルゴリズムの性能にどのようにトレードオフするか？
• RQ3 分散型オンライン制御において、競合比の $k$ および $r$ 依存性は近似的に最適か？
• RQ4 予測制御は、局所的情報とグローバルな目的を持つ分散型マルチエージェントシステムに一般化可能か？
• RQ5 この設定における任意の分散型オンラインアルゴリズムの競合比の根本的限界は何か？

主な発見

• LPC は、$k$ および $r$ が増加するに従い指数的に 1 に近づく $1 + \tilde{O}(\rho_T^k) + \tilde{O}(\rho_S^r)$ の競合比を達成する。
• 競合比は、時間的および空間的相互作用コストの相対的強度に応じて増加する減衰係数 $\rho_T$ および $\rho_S$ に依存する。
• 任意の分散型アルゴリズムに対して $1 + \Omega(\lambda_T^k) + \Omega(\lambda_S^r)$ の下界が確立されたことから、$k$ および $r$ への依存性が近似的に最適であることが示された。
• リソース増強分析により、LPC の性能が問題の構造的パラメータに関して $k$ および $r$ のオーダーで最適であることが示された。
• 減衰係数 $\rho_T$ および $\rho_S$ は、問題の相互作用強度の観点から有界であり、$\rho_T^4 \leq \lambda_T \leq \rho_T^2$ および $\rho_S^{32} \leq \lambda_S$ を満たす。
• 結果として、時間的および空間的相互作用強度に応じて、所望の競合比を達成するための最小の $k$ および $r$ を定量化できた。