[論文レビュー] Distributed Online Optimization for Multi-Agent Networks with Coupled Inequality Constraints

Xiuxian Li, Xinlei Yi+1 more|arXiv (Cornell University)|May 15, 2018

Advanced Bandit Algorithms Research参考文献 53被引用数 8

ひとこと要約

本稿では、局所的集合制約と結合不等式制約を有するマルチエージェントネットワークに対して、逐次に明らかになる目的関数および制約関数を想定した、分散型オンライン原双対プッシュサムアルゴリズム（DOPP）を提案する。このアルゴリズムは、有界なラグランジュ乗数を仮定しないまま、サブリニアな動的リグレットと制約違反を達成するため、非平衡ネットワークやスマートグリッド・無線ネットワークにおけるリアルタイム応用に適用可能である。

ABSTRACT

This paper investigates the distributed online optimization problem over a multi-agent network subject to local set constraints and coupled inequality constraints, which has a lot of applications in many areas, such as wireless sensor networks, power systems and plug-in electric vehicles. In this problem, the cost function at each time step is the sum of local cost functions with each of them being gradually revealed to its corresponding agent, and meanwhile only local functions in coupled inequality constraints are accessible to each agent. To address this problem, a modified primal-dual algorithm, called distributed online primal-dual push-sum algorithm (DOPP), is developed in this paper, which does not rest on any assumption on parameter boundedness and is applicable to unbalanced networks. It is shown that the proposed algorithm is sublinear for both the dynamic regret and the violation of coupled inequality constraints. Finally, the theoretical results are supported by a simulation example.

研究の動機と目的

• 部分的で時間変動する情報下において、局所的集合制約と結合不等式制約を有するマルチエージェントネットワークにおける分散型オンライン最適化を扱う。
• 将来の目的関数や制約関数の事前知識を必要としない分散型アルゴリズムを構築する。
• 先行研究で制限を受ける有界なラグランジュ乗数の仮定を排除する。
• 実際の展開で一般的な非平衡通信ネットワークへの適用可能性を保証する。
• オンライン性能評価として、サブリニアな動的リグレットと制約違反を達成する。

提案手法

• 非平衡ネットワークトポロジーに対応するため、プッシュサムによるコンSENSUSを用いた、修正された原双対アルゴリズム、DOPPを提案する。
• 各エージェントが自らの局所的コスト関数および制約関数のみにアクセスする、ローカル情報に依存するアプローチを採用する。
• プッシュサムによる重み付き平均と局所的サブ勾配を組み合わせた双対変数更新則を導入する。
• 適応的ステップサイズと正規化機構を用いて、有界性仮定なしに収束を維持する。
• 凸性とコーシー・シュワルツの不等式を用いて、双対変数誤差の再帰的不等式を導出し、収束バウンドを導出する。
• リャプノフ関数に類似した解析を用いて理論的収束を確立し、時間枠の観点からリグレットと制約違反をバウンドする。

実験結果

リサーチクエスチョン

• RQ1 結合不等式制約下で、有界なラグランジュ乗数を仮定しない分散型オンライン最適化アルゴリズムが、サブリニアな動的リグレットを達成できるか？
• RQ2 非平衡ネットワークにおいて、エージェントが局所関数のみにアクセスする条件下で、双対変数のコンセンサスをどのように達成できるか？
• RQ3 オンライン分散環境下で、動的リグレットと制約違反の性能トレードオフはどのように規定されるか？
• RQ4 目的関数および制約関数が逐次的に明らかになる状況でも、アルゴリズムがサブリニアなリグレットと制約違反を維持できるか？
• RQ5 標準的コンセンサスと比較して、プッシュサムメカニズムは非平衡ネットワークにおけるロバストネスをどのように向上させるか？

主な発見

• 提案されたDOPPアルゴリズムは、グローバル目的関数に対して、オーダーO(T^{3/4})のサブリニアな動的リグレットを達成する。
• 結合不等式制約に関して、オーダーO(T^{3/4})のサブリニアな制約違反を保証する。
• 先行研究で重要な仮定とされてきたラグランジュ乗数の有界性を必要としないため、実用的応用性が向上する。
• 双方向重みではなくプッシュサムコンセンサスに依存するため、非平衡通信ネットワークにも適用可能である。
• 理論的解析により、リャプノフ関数のアプローチを用いて収束を確認し、双対変数誤差と制約違反の両方をバウンドする。
• シミュレーション結果は理論的予測を検証し、時間経過に伴いリグレットと制約違反が一貫してサブリニアに増加することを示している。