[論文レビュー] Distributed Prediction-Correction ADMM for Time-Varying Convex Optimization

Nicola Bastianello, Andrea Simonetto+1 more|arXiv (Cornell University)|Sep 17, 2020

Distributed Control Multi-Agent Systems参考文献 39被引用数 11

ひとこと要約

本稿では、時間変動する凸最適化のための分散型予測補正ADMMアルゴリズムを提案する。将来のコスト変化を予測し、線形収束を保証するための双対正則化を適用することで、動的状況下で不正確勾配法や正確な双対分解法と比較して、より低い漸近的誤差と協調違反を達成する。

ABSTRACT

This paper introduces a dual-regularized ADMM approach to distributed, time-varying optimization. The proposed algorithm is designed in a prediction-correction framework, in which the computing nodes predict the future local costs based on past observations, and exploit this information to solve the time-varying problem more effectively. In order to guarantee linear convergence of the algorithm, a regularization is applied to the dual, yielding a dual-regularized ADMM. We analyze the convergence properties of the time-varying algorithm, as well as the regularization error of the dual-regularized ADMM. Numerical results show that in time-varying settings, despite the regularization error, the performance of the dual-regularized ADMM can outperform inexact gradient-based methods, as well as exact dual decomposition techniques, in terms of asymptotical error and consensus constraint violation.

研究の動機と目的

• 限られた計算および通信リソースの下で、時間変動する分散最適化における最適解の追跡という課題に対処すること。
• 将来のコスト関数の変化を予測し、新しいデータが到着した際に誤差を補正する分散アルゴリズムの開発。
• 双対正則化を通じて収束速度を向上させ、時間変動する設定での漸近的誤差を低減すること。
• 正則化が精度を損なわせることなく性能を向上させることを実証すること。

提案手法

• 強い凸性を保証するため、双対問題に二次正則化項を追加することで、双対正則化ADMMフレームワークを提案する。
• ノードが過去の観測に基づいて将来の局所コストを予測することで、解の軌道の変化を予測する予測補正メカニズムを統合する。
• 局所変数と補助ブリッジ変数を用いて、時間変動問題を協調ベースの再定式化する。
• 正則化された双対問題を分散的に解くために、ピースマン＝ラッハフォード分割法を適用し、ノードレベルでの更新をプロキシマム作用素を介して可能にする。
• グラフの構造と隣接ノード間の通信にのみ依存して、プライマルおよび双対変数の分散更新ルールを導出する。
• 収束速度と解の精度のバランスを取るために正則化パラメータ ϵ を採用し、正則化誤差の理論的境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 ADMMにおける双対正則化は、時間変動する分散最適化において収束速度を向上させ、漸近的誤差を低減できるか？
• RQ2 予測補正フレームワークは、標準ADMMと比較して、動的分散設定における追跡性能を向上させられるか？
• RQ3 双対正則化ADMMの正則化誤差は、最終的な解の品質および協調違反にどのように影響するか？
• RQ4 提案手法は、追跡精度と収束速度の観点で、不正確勾配法および正確な双対分解法を上回ることができるか？

主な発見

• 正則化によって強い凸性が誘導されるため、標準ADMMとは異なり、双対正則化ADMMは線形収束を達成する。
• 正則化誤差は有界であり、正則化パラメータ ϵ が増加するにつれて減少し、真の双対解に近づくことが保証される。
• 数値結果から、提案手法は不正確勾配法および正確な双対分解法と比較して、より低い漸近的誤差と協調違反を達成することが示された。
• 正確な協調制約を強制していないにもかかわらず、競合手法と比較して、より良い協調距離を維持している。
• 性能向上は、正則化による収束速度の向上に起因し、時間変動設定における有界な追跡誤差を低減している。
• プライマル正則化（例：(1/2α)x⊤(I−W)x）と比較して、追跡精度の観点で優れた性能を示しており、動的状況下での双対正則化の優位性を実証している。