[論文レビュー] On the Sublinear Regret of Distributed Primal-Dual Algorithms for Online Constrained Optimization

Soomin Lee, Michael M. Zavlanos|arXiv (Cornell University)|May 31, 2017

Distributed Control Multi-Agent Systems参考文献 5被引用数 34

ひとこと要約

本稿では、時間変動するネットワークにおけるオンライン制約付き最適化のための分散型プライマル・デュアルアルゴリズムを提案する。エージェントは、共通の双対変数推定を用いて、グローバルに結合された制約のもとでグローバルな目的関数を共同で最小化する。連結性と重みバランスのとれた有向グラフの下で、コスト関数値および制約違反の両方において $O(\sqrt{T})$ のオーダーのサブリニアなレジストを達成する。

ABSTRACT

This paper introduces consensus-based primal-dual methods for distributed online optimization where the time-varying system objective function $f_t(\mathbf{x})$ is given as the sum of local agents' objective functions, i.e., $f_t(\mathbf{x}) = \sum_i f_{i,t}(\mathbf{x}_i)$, and the system constraint function $\mathbf{g}(\mathbf{x})$ is given as the sum of local agents' constraint functions, i.e., $\mathbf{g}(\mathbf{x}) = \sum_i \mathbf{g}_i (\mathbf{x}_i) \preceq \mathbf{0}$. At each stage, each agent commits to an adaptive decision pertaining only to the past and locally available information, and incurs a new cost function reflecting the change in the environment. Our algorithm uses weighted averaging of the iterates for each agent to keep local estimates of the global constraints and dual variables. We show that the algorithm achieves a regret of order $O(\sqrt{T})$ with the time horizon $T$, in scenarios when the underlying communication topology is time-varying and jointly-connected. The regret is measured in regard to the cost function value as well as the constraint violation. Numerical results for online routing in wireless multi-hop networks with uncertain channel rates are provided to illustrate the performance of the proposed algorithm.

研究の動機と目的

• グローバルに結合された制約をもつオンライン分散最適化を扱う。これらの制約は局所的制約集合に分解できない。
• 時間変動する通信トポロジーと環境の不確実な変化に対してもサブリニアなレジストを維持できる分散型アルゴリズムを開発する。
• 共通の双対変数平均化を用いてグローバルな制約を処理する分散環境へのプライマル・デュアル法の拡張を行う。
• 時間枠 $T$、ネットワークの連結性、問題構造の観点から、レジストの境界を分析する。
• 動的チャネルレートを伴う現実的な無線マルチホップネットワーク環境においてアルゴリズムを検証する。

提案手法

• 各エージェントが隣接エージェントの反復値の重み付き平均を用いてグローバルな双対変数の局所的推定値を維持する、共通の双対変数推定に基づくプライマル・デュアル法を用いる。
• グローバルな制約をもつ分散型オンライン最適化に適応したアロウ＝ハービッツ＝ウツァ法の鞍点定式化を採用する。
• 制約違反を扱うために、$[x]_+^\mu$ の滑らかな代替関数を統合し、パラメータ $\mu$ に対してリプシッツ連続性を満たす。
• 非ゼロのルーティングレートに基づいて通信行列 $W_t$ を定義し、時間的に重みバランスがとられ、かつ連結性を満たすグラフを保証する。
• 時間変動する重みを用いたデュアル・アベーリージングフレームワークを適用し、エージェント間で双対変数の共通化を維持する。
• 局所勾配と共通化ステップに依存する、プロジェクションフリーの更新ルールを用いてレジストを最小化する。

実験結果

リサーチクエスチョン

• RQ1 グローバルに結合された制約をもつ分散型プライマル・デュアルアルゴリズムは、オンライン最適化においてサブリニアなレジストを達成できるか？
• RQ2 時間変動する、かつ連結性を満たす通信トポロジーの下で、アルゴリズムはどのように動作するか？
• RQ3 レジストはネットワークサイズ、連結性の強さ $Q$、および問題パラメータにどのように依存するか？
• RQ4 無線ネットワークにおける時間変動するチャネルレートといった現実世界の不確実性を処理できるか？
• RQ5 スムージングパラメータ $\mu$ の選択が収束性およびレジストに与える影響は何か？

主な発見

• 連結性と時間変動する有向グラフの下で、コスト関数値および制約違反の両方において、最悪ケースのレジストが $O(\sqrt{T})$ のオーダーで達成される。
• $\mathcal{R}(T)/T$ および $\mathcal{R}^c(T)/T$ の時間ステップあたりのレジストは、$T$ が増加するにつれてゼロに収束し、サブリニア成長を確認する。
• ネットワークサイズが大きい（$N=20$）ほど収束が遅くなり、エージェント数の増加に伴いレジストの増加が顕著になる。
• 連結性の強さ $Q$ が高くなると、コスト関数のレジストにおいて収束が遅くなるが、制約違反は安定している。
• $\mu=0.001$ の滑らかな最大関数 $[x]_+^\mu$ はリプシッツ連続性を満たし、シミュレーションにおける数値的安定性を実現する。
• 無線マルチホップネットワークにおける数値結果から、不確実で動的変化するチャネル条件下でも、アルゴリズムの有効性が確認される。