[論文レビュー] Technical Report: A Totally Asynchronous Algorithm for Tracking Solutions to Time-Varying Convex Optimization Problems

Gabriel Behrendt, Matthew Hale|arXiv (Cornell University)|Oct 13, 2021

Distributed Control Multi-Agent Systems参考文献 34被引用数 4

ひとこと要約

本稿では、マルチエージェントシステムにおける時間変動型凸最適化問題の解を追跡する、完全に非同期的で1次元の分散型アルゴリズムを提案する。エージェントは任意のタイミングで計算と通信を実行でき、有限の遅延を許容するが、収束速度はタイミングに依存せず、操作の順序にのみ依存する。リソース制約下で操作順序を最適化することで、追跡誤差を最小化する。

ABSTRACT

This paper presents a decentralized algorithm for a team of agents to track time-varying fixed points that are the solutions to time-varying convex optimization problems. The algorithm is first-order, and it allows for total asynchrony in the communications and computations of all agents, i.e., all such operations can occur with arbitrary timing and arbitrary (finite) delays. Convergence rates are computed in terms of the communications and computations that agents execute, without specifying when they must occur. These rates apply to convergence to the minimum of each individual objective function, as well as agents' long-run behavior as their objective functions change. Then, to improve the usage of limited communication and computation resources, we optimize the timing of agents' operations relative to changes in their objective functions to minimize total fixed point tracking error over time. Simulation results are presented to illustrate these developments in practice and empirically assess their robustness to uncertainties in agents' update laws.

研究の動機と目的

• 時間変動型凸最適化問題における非同期アルゴリズムに収束保証が欠けているという問題に対処すること。
• 計算と通信の完全な非同期性下でも、エージェントが時間変動型最適解を追跡できることを可能にすること。
• 収束速度を遅延の上限や固定タイミングに依存させず、操作の順序にのみ依存するように定式化すること。
• 通信および計算リソースの制限下で、固定点追跡誤差を最小化する通信および計算の最適順序を最適化すること。
• 動的環境下でのノイズおよび非同期性に対する耐性を実験的に検証すること。

提案手法

• アルゴリズムは、完全に非同期な更新を用いたブロックベースの1次元勾配降下法であり、エージェントは意思決定変数の部分集合を独立に更新・通信する。
• 収束速度は遅延の上限や同期タイミングに依存せず、通信と計算のインタリーブ（入れ替え）に依存して導出される。
• 通信および計算制約下で追跡誤差を最小化する最適な操作順序を決定するための制約付き最適化問題を定式化する。
• 最適な順序は閉形式で解かれるため、目的関数の変化に応じたリアルタイムでの操作順序の再調整が可能である。
• 本手法は、離散的スイッチを伴う二次的目的関数および測定不確実性を伴うノイズのあるフィードバック最適化問題の両方へ適用可能である。
• シミュレーションにより、非同期性およびノイズ下での性能を検証し、有界な誤差領域内での安定した追跡を示している。

実験結果

リサーチクエスチョン

• RQ1 完全に非同期なマルチエージェントアルゴリズムは、遅延の上限や同期タイミングに依存せずに、時間変動型凸最適化問題の解を追跡できるか？
• RQ2 収束速度を遅延制約やタイミング制約ではなく、操作順序の観点からどのように定量化できるか？
• RQ3 リソース制限下で固定点追跡誤差を最小化する通信および計算の最適順序は何か？
• RQ4 フィードバック最適化設定下で測定ノイズがある場合、アルゴリズムの性能はどのようになるか？
• RQ5 目的関数の急激な変化があっても、アルゴリズムは有界な追跡誤差を維持できるか？

主な発見

• 提案されたアルゴリズムは、完全な非同期性下でも時間変動型最適解に収束し、収束速度は通信と計算の順序にのみ依存し、タイミング要因には依存しない。
• 有限時間および漸近的領域の両方で追跡誤差が有界であり、問題パラメータおよび操作順序に明示的な依存関係を示す。
• リソース制限下では、通信および計算制約下で追跡誤差を最小化する最適な操作順序が閉形式で導出可能である。
• 離散的関数スイッチを伴うシミュレーションでは、8回目のスイッチの直前で平均追跡誤差が1.192に達するが、ノイズのある測定下でも安定に維持される。
• アルゴリズムは非同期性および測定ノイズに対して耐性を示し、真の最小値の周囲で小さな誤差領域内での追跡を維持する。
• 目的関数のスイッチに伴い誤差が一時的に増加するが、その後の通信サイクルによって迅速に是正されるため、動的適応性が確認される。