[論文レビュー] Fixed-time Distributed Optimization under Time-Varying Communication Topology

Kunal Garg, Mayank Baranwal+2 more|arXiv (Cornell University)|May 24, 2019

Distributed Control Multi-Agent Systems参考文献 14被引用数 12

ひとこと要約

本稿では、時間変動する通信トポロジーを持つネットワークにおける固定時間分散最適化アルゴリズムを提案する。初期条件に依存せず、常に所定の時間以内に全局的最適解に収束する。厳密に凸な問題に対しては、2次Hessian情報を利用した非線形プロトコルを導入し、強い凸性を満たす場合の1次バージョンを提案する。さらに、ポリアック＝ロジャシュエイチ（Polyak-Łojasiewicz）不等式を満たす非凸問題へも拡張する。

ABSTRACT

This paper presents a method to solve distributed optimization problem within a fixed time over a time-varying communication topology. Each agent in the network can access its private objective function, while exchange of local information is permitted between the neighbors. This study investigates first nonlinear protocol for achieving distributed optimization for time-varying communication topology within a fixed time independent of the initial conditions. For the case when the global objective function is strictly convex, a second-order Hessian based approach is developed for achieving fixed-time convergence. In the special case of strongly convex global objective function, it is shown that the requirement to transmit Hessians can be relaxed and an equivalent first-order method is developed for achieving fixed-time convergence to global optimum. Results are further extended to the case where the underlying team objective function, possibly non-convex, satisfies only the Polyak-Łojasiewicz (PL) inequality, which is a relaxation of strong convexity.

研究の動機と目的

• 初期条件に依存する収束時間を持つ時間変動通信トポロジーを有するネットワークにおける分散最適化を解決すること。
• 初期状態に依存せず、全局的最適解への固定時間収束を保証する非線形プロトコルの開発。
• 強い凸目的関数に対してHessian情報の送信を削減するため、同等の1次手法を提案すること。
• 強い凸性より弱い条件であるポリアック＝ロジャシュエイチ（PL）不等式を満たす非凸問題へフレームワークを拡張すること。

提案手法

• 局所的目的関数と隣接エージェント間の情報交換を用いて、固定時間収束を保証する非線形プロトコルを設計する。
• 厳密に凸な全般的最適化問題に対して、Hessianに基づく2次ダイナミクスを採用し、固定時間収束を達成する。
• 強い凸関数に対しては、Hessian行列の送信を不要とする1次同等の手法を開発する。
• 強い凸性の緩和としてポリアック＝ロジャシュエイチ（PL）不等式を活用し、非凸問題へのアプローチを拡張する。
• 時間変動する通信グラフ下でも固定時間収束を保証するため、ラプラシアンに基づく安定性解析を用いる。
• 分散計算を維持するため、隣接エージェント間の局所的情報交換を統合する。

実験結果

リサーチクエスチョン

• RQ1 時間変動する通信トポロジー下でも、固定時間内に分散最適化を達成できるか？
• RQ2 初期条件に依存せず、分散環境下で固定時間収束を保証する方法は何か？
• RQ3 強い凸問題において、Hessianの送信を排除しつつも固定時間収束を維持できるか？
• RQ4 PL不等式を満たす非凸問題へ、このフレームワークを拡張できるか？
• RQ5 固定時間収束を達成するための通信トポロジーおよび目的関数に対する最小限の仮定は何か？

主な発見

• 提案された非線形プロトコルは、時間変動ネットワークにおいて初期条件に依存せず、全局的最適解への固定時間収束を達成する。
• 厳密に凸な目的関数に対しては、Hessianに基づく2次手法が、収束時間の上界が保証された固定時間収束を実現する。
• 強い凸な目的関数に対しては、Hessian行列の送信を回避しつつも固定時間収束を維持する1次手法が開発された。
• ポリアック＝ロジャシュエイチ（PL）不等式を満たす非凸問題へもフレームワークが拡張され、より弱い凸性仮定下でも固定時間収束が保証された。
• ラプラシアンに基づく安定性解析により、通信トポロジーが時間変動しても固定時間内に収束することが確認された。
• 局所的目的関数と隣接エージェント間の情報交換に依存するため、分散計算が維持された。