[論文レビュー] Distributed and Inexact Proximal Gradient Method for Online Convex Optimization

Nicola Bastianello, Emiliano Dall’Anese|arXiv (Cornell University)|Jan 3, 2020

Distributed Control Multi-Agent Systems参考文献 34被引用数 10

ひとこと要約

本稿は、ノードが局所的な更新と通信のみを用いて最適解の軌道を協調的に追跡する、時間変動型複合凸最適化における分散型オンライン不正確な近接勾配法（DPGM）を提案する。この手法は、不正確な勾配および近接演算が存在する状況下でも、真の最適軌道の近傍への線形収束を保証する。時間変動型のコスト関数およびノイズに対する弱い仮定のもとで、追跡誤差は安定な線形系によって有界に保たれる。

ABSTRACT

This paper develops and analyzes an online distributed proximal-gradient method (DPGM) for time-varying composite convex optimization problems. Each node of the network features a local cost that includes a smooth strongly convex function and a non-smooth convex function, both changing over time. By coordinating through a connected communication network, the nodes collaboratively track the trajectory of the minimizers without exchanging their local cost functions. The DPGM is implemented in an online fashion, that is, in a setting where only a limited number of steps are implemented before the function changes. Moreover, the algorithm is analyzed in an inexact scenario, that is, with a source of additive noise, that can represent e.g. communication noise or quantization. It is shown that the tracking error of the online inexact DPGM is upper-bounded by a convergent linear system, guaranteeing convergence within a neighborhood of the optimal solution.

研究の動機と目的

• ストリーミングデータや動的システムパラメータの変化によって時間とともに変化するコスト関数を有するネットワークにおける分散型オンライン最適化の挑戦に取り組む。
• 局所的コスト関数を共有することなく、局所計算と隣接ノードとの通信のみを用いて最適解軌道を協調的に追跡可能にする。
• 現実のネットワークで一般的に見られるノイズの付いた勾配、近似された近接作用素、状態伝送誤差などの不正確性を含むアルゴリズムの分析を行う。
• 時間変動型の目的関数および非理想なアルゴリズム更新が存在する状況下での追跡誤差の理論的収束保証を確立する。
• 既存の分散型近接勾配法をオンライン、時間変動型、不正確な設定に拡張する統一的枠組みを提供し、保証可能な性能バウンドを提示する。

提案手法

• 各ノードが滑らかで強く凸な関数と非滑らかで凸な関数の和を最小化する分散型複合最適化問題を定式化し、時間変動型パrameterを含む。
• 時間間隔ごとに限定的なステップ数で実行されるオンラインDPGMを設計し、変化する目的関数にリアルタイムで適応可能にする。
• 不正確性を3つの形で導入：ノイズ付き勾配推定、近似された近接作用素評価、通信または量子化による状態ノイズ。
• アルゴリズム再帰式に誤差項を導入し、リャプノフ型解析を用いて追跡誤差の進化を有界化する。
• プライム変数の偏差、一貫性誤差、勾配追跡誤差を組み合わせた状態ベクトルを定義し、その進化が安定行列を有する線形系に従うことを示す。
• 行列ノルム解析と三角不等式を用いて、初期誤差、時間変動、不正確性要因を含む期待追跡誤差の上界を導出する。

実験結果

リサーチクエスチョン

• RQ1 時間変動型複合凸最適化問題において、時間間隔ごとに限定的な計算ステップ数を用いて最適解軌道を追跡可能な分散型近接勾配法を設計可能か？
• RQ2 勾配評価、近接作用素計算、状態通信における不正確性が、分散型オンラインアルゴリズムの収束性および追跡性能にどのように影響を与えるか？
• RQ3 アルゴリズムが時間変動型の目的関数および非理想な更新を伴う状況下で、追跡誤差の理論的上限は何か？
• RQ4 最適軌道のモデルを仮定しない状況下でも、不正確性および時間変動ダイナミクスが存在する場合に、最適軌道の近傍への線形収束を保証できるか？
• RQ5 各時刻でアルゴリズムをウォームスタートする戦略は、誤差伝搬および全体の収束速度にどのように影響を与えるか？

主な発見

• オンライン不正確DPGMの追跡誤差は、安定な線形系の状態によって上界が保証され、最適解軌道の近傍への収束を実現する。
• 期待追跡誤差は、初期誤差、時間変動、不正確性要因に依存する有界な近傍へ線形収束する。その近傍の大きさは、コスト関数の時間変動度と不正確性のレベルに依存する。
• 誤差上界は、プライム偏差、一貫性誤差、勾配追跡誤差を捉える3成分状態ベクトルを用いて導出され、システム行列の固有値半径が1未満であることが条件となる。
• 誤差項が有界であり、ステップサイズとネットワーク重みが適切に選ばれている限り、不正確性が存在する状況下でも線形収束が達成可能である。
• ウォームスタート戦略は、各時刻における初期誤差を顕著に低減し、コールドスタートに比べて全体の収束速度を向上させる。
• 期待追跡誤差の理論的上界は幾何級数として表現され、上確率極限が (1 - δ^M_o) の逆数に比例する形で有界である。ここで δ < 1 であり、M_o は時間間隔ごとのステップ数である。