[論文レビュー] Random Coordinate Descent for Resource Allocation in Open Multi-Agent Systems

Charles Monnoyer de Galland, Renato Vizuete+3 more|arXiv (Cornell University)|May 20, 2022

Distributed Control Multi-Agent Systems被引用数 4

ひとこと要約

本稿では、実行中にエージェントが参加・退出する可能性があるオープンなマルチエージェントシステムにおけるリソース割り当てのための分散型ランダム座標降下（RCD）アルゴリズムを提案する。アルゴリズムの収束性と、エージェントの入れ替えが最適解の軌道に与える影響の相互作用に基づき、期待値における線形収束と定常誤差バインディングを確立する。

ABSTRACT

We propose a method for analyzing the distributed random coordinate descent algorithm for solving separable resource allocation problems in the context of an open multiagent system, where agents can be replaced during the process. In particular, we characterize the evolution of the distance to the minimizer in expectation by following a time-varying optimization approach which builds on two components. First, we establish the linear convergence of the algorithm in closed systems, in terms of the estimate towards the minimizer, for general graphs and appropriate step-size. Second, we estimate the change of the optimal solution after a replacement, in order to evaluate its effect on the distance between the current estimate and the minimizer. From these two elements, we derive stability conditions in open systems and establish the linear convergence of the algorithm towards a steady-state expected error. Our results enable to characterize the trade-off between speed of convergence and robustness to agent replacements, under the assumptions that local functions are smooth, strongly convex, and have their minimizers located in a given ball. The approach proposed in this paper can moreover be extended to other algorithms guaranteeing linear convergence in closed system.

研究の動機と目的

• 最適化の実行中にエージェント構成が動的に変化するオープンなマルチエージェントシステムにおけるリソース割り当ての課題に対処すること。
• 安定なエージェント集合を仮定する固定システム最適化手法の限界を克服し、リアルタイムでのエージェントの到着や退去を処理できるようにすること。
• スパースまたは動的通信トポロジを有する大規模システムに適した分散型で低複雑度のアルゴリズムを開発すること。
• 期待誤差の観点から、収束速度とエージェントの入れ替えに対するロバストネスのトレードオフを特定すること。
• エージェントの入れ替えによる時変な最適解の影響を受ける状況においても、RCDアルゴリズムの理論的安定性と収束保証を確立すること。

提案手法

• 局所凸コスト関数と重み付きエージェント状態のグローバル等式制約を有する分離可能で制約付き最適化問題としてリソース割り当て問題を定式化する。
• ランダムに選択されたエッジに基づき、1イテレーションごとに1つのエージェントの状態のみを更新するランダム座標降下（RCD）アルゴリズムを適用し、計算コストを最小限に抑える。
• 閉じたシステムにおける収束性を時変最適化フレームワークを用いて分析し、一般のグラフと適切なステップサイズに対して適切なノルムで線形収束を証明する。
• エージェントの入れ替えを最適解への摂動としてモデル化し、局所関数の曲率と入れ替え頻度を用いて最小化子の変化を推定する。
• 閉じたシステムの収束速度と、エージェントの入れ替えによる最適解の変動を組み合わせることで、最小化子への期待距離の上界を導出する。
• 非一様なエージェントやネットワークトポロジの下でも収束性と安定性を分析するために、ラプラシアン行列の一般化逆行列と重み付きノルムを用いる。

実験結果

リサーチクエスチョン

• RQ1 エージェントが実行中に置き換えられるオープンなマルチエージェントシステムにおいて、RCDアルゴリズムはどのように振る舞うか？
• RQ2 エージェントの入れ替えがRCDアルゴリズムの収束性に与える影響は何か？ 期待誤差としてその影響をどのようにバインディングできるか？
• RQ3 オープンシステムにおいて線形収束を保証できるか？ ステップサイズおよびシステムパラメータにどのような条件下で成立するか？
• RQ4 ネットワークトポロジ（例：完全グラフ対リンググラフ）やエージェントの非一様性（例：異なる重み）は、アルゴリズムの収束性と安定性にどのように影響するか？
• RQ5 期待誤差の観点から、収束速度とエージェントの入れ替えに対するロバストネスの間にはどのようなトレードオフがあるか？

主な発見

• 適切にステップサイズが選ばれている限り、RCDアルゴリズムはオープンシステムにおいて期待値の意味で定常誤差への線形収束を達成する。
• 期待誤差は、エージェントの入れ替えによる最適解の変動に比例する項によってバインディングされ、重み付きラプラシアン行列の2番目に小さい固有値の逆数でスケーリングされる。
• 同質なエージェントを有する完全グラフでは、条件数κが小さい場合にバインディングが最もきつくなり、誤差は真の最小化子の小さな近傍に収束する。
• スパースなグラフ（例：リングトポロジ）や非一様エージェントでは、スプライスギャップの減少に伴い有効なステップサイズの範囲が狭まり、収束速度と安定性に影響を及ぼす。
• 期待誤差の理論的上界（補題3）は、密度が高く条件数が良いシステムでは保守的であるが、異なるトポロジや入れ替えモデルにおいても定性的には正確である。
• 数値シミュレーションにより、ランダムおよび敵対的に入れ替えの両状況において線形収束が確認され、さまざまな設定で誤差軌道が導出された上界に密接に従っている。