[論文レビュー] Distributed Online Convex Optimization with Time-Varying Coupled Inequality Constraints

Xinlei Yi, Xiuxian Li+2 more|arXiv (Cornell University)|Mar 6, 2019

Advanced Bandit Algorithms Research参考文献 59被引用数 9

ひとこと要約

本稿では、時変する結合不等式制約を伴う凸最適化のための分散型オンライン原双対動的ミラー降下法を提案する。局所関数が逐次的に明らかとなり、エージェントが動的ネットワーク上で協調する。滑らかな条件下でも、Slaterの条件を仮定しないまま、サブラインアクス動的レジストと制約違反を確立し、強い凸性またはSlaterの条件の下でより良いバウンドを達成する。

ABSTRACT

This paper considers distributed online optimization with time-varying coupled inequality constraints. The global objective function is composed of local convex cost and regularization functions and the coupled constraint function is the sum of local convex functions. A distributed online primal-dual dynamic mirror descent algorithm is proposed to solve this problem, where the local cost, regularization, and constraint functions are held privately and revealed only after each time slot. Without assuming Slater's condition, we first derive regret and constraint violation bounds for the algorithm and show how they depend on the stepsize sequences, the accumulated dynamic variation of the comparator sequence, the number of agents, and the network connectivity. As a result, under some natural decreasing stepsize sequences, we prove that the algorithm achieves sublinear dynamic regret and constraint violation if the accumulated dynamic variation of the optimal sequence also grows sublinearly. We also prove that the algorithm achieves sublinear static regret and constraint violation under mild conditions. Assuming Slater's condition, we show that the algorithm achieves smaller bounds on the constraint violation. In addition, smaller bounds on the static regret are achieved when the objective function is strongly convex. Finally, numerical simulations are provided to illustrate the effectiveness of the theoretical results.

研究の動機と目的

• 時変する結合不等式制約を伴う凸最適化のための分散型オンラインアルゴリズムを開発すること。
• Slaterの条件を仮定しない状況でのレジストと制約違反の分析。
• ステップサイズ列、ネットワーク接続性、最適解列の動的変化に依存する性能の特定。
• やや弱い仮定の下でサブラインレジストと制約違反を確立すること。
• 異なる正則化およびダイナミクス設定における性能の比較。

提案手法

• エージェントが各時刻に現れる局所コスト関数、正則化関数、制約関数を用いて意思決定を更新する分散型オンライン原双対動的ミラー降下法を設計する。
• 結合不等式制約を処理するために双対変数を用い、時変するBregman散発を組み込んだミラー降下を原変数の更新に適用する。
• ネットワーク通信は時変する有向グラフでモデル化され、エージェントは隣接エージェントと情報交換することで双対変数の一貫性を維持する。
• レジストと制約違反は、リャプノフ関数とテレスコピング和を用いて分析され、ステップサイズ列とコンパレータ列の動的変化に基づいたバウンドが導出される。
• 理論的分析ではエージェント数、ネットワーク接続性、局所関数の構造を考慮する。
• 数値シミュレーションにより、異なる正則化およびダイナミクス設定下での理論的バウンドの妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 Slaterの条件を仮定しない分散型オンラインアルゴリズムが、サブライン動的レジストと制約違反を達成できるか？
• RQ2 最適解列の蓄積的動的変化が性能バウンドにどのように影響するか？
• RQ3 ネットワーク接続性とステップサイズ選択が、レジストと制約違反に与える影響は何か？
• RQ4 強い凸性とSlaterの条件が理論的バウンドをどのように改善するか？
• RQ5 正則化は、レジストと制約違反のトレードオフにどのように影響するか？

主な発見

• 最適解列の蓄積的動的変化がサブライン的に増加する限り、任意の減少するステップサイズ列の下で、アルゴリズムはサブライン動的レジストと制約違反を達成する。
• Slaterの条件を仮定しない場合、制約違反バウンドは最適解列の動的変化の平方根に比例する。
• Slaterの条件が成り立つ場合、制約違反バウンドは小さくなり、動的変化に対する依存性がより厳密になる。
• 目的関数が強く凸である場合、静的レジストバウンドが改善され、より良い定数を伴うサブラインレートを達成する。
• 数値結果では、明示的な正則化が、正則化なしのケースに比べて、より小さい動的レジストと制約違反をもたらすことが示された。
• アルゴリズムは集中型オンラインアルゴリズムと同等の性能を示し、一部の既存手法よりもレジストと制約違反の観点で優れている。