[論文レビュー] Dynamical Primal-Dual Accelerated Method with Applications to Network Optimization

Xianlin Zeng, Jinlong Lei+1 more|arXiv (Cornell University)|Dec 8, 2019

Advanced Optimization Algorithms Research被引用数 6

ひとこと要約

本稿では、線形等式制約を伴う凸最適化問題に対して、増加する減衰係数を有する連続時間のプライマル・デュアルNesterov加速手法を提案し、双対ギャップにおける最適な $O(1/t^2)$ 収束速度を達成する。この手法は分散ネットワーク最適化問題に応用され、理論的保証を伴う高速化された分散アルゴリズムをもたらす。

ABSTRACT

This paper develops a continuous-time primal-dual accelerated method with an increasing damping coefficient for a class of convex optimization problems with affine equality constraints. This paper analyzes critical values for parameters in the proposed method and prove that the rate of convergence in terms of the duality gap function is $O( frac{1}{t^2})$ by choosing suitable parameters. As far as we know, this is the first continuous-time primal-dual accelerated method that can obtain the optimal rate. Then this work applies the proposed method to two network optimization problems, a distributed optimization problem with consensus constraints and a distributed extended monotropic optimization problem, and obtains two variant distributed algorithms. Finally, numerical simulations are given to demonstrate the efficacy of the proposed method.

研究の動機と目的

• 線形等式制約を伴う凸問題に対して、連続時間で最適な $O(1/t^2)$ 収束速度を達成するプライマル・デュアル加速手法の欠如を解消する。
• 従来の分散プライマル・デュアル手法が通常 $O(1/t)$ または漸近的収束速度にとどまるため、その遅い収束を克服する。
• 加速収束を保証するための重要なパラメータ選定を導くための、リャプノフ解析に基づく統一的フレームワークを構築する。
• 提案手法を2種類のネットワーク最適化問題に拡張する：分散型コアリション制約問題と拡張モノトロープ最適化問題。
• 理論的加速を保証する分散アルゴリズムを設計し、大規模ネットワークシステムにおける高速収束を実現する。

提案手法

• Nesterovの加速手法にインspiredされ、増加する減衰係数 $\alpha(t) = \frac{2}{t}$ を有する連続時間のプライマル・デュアルダイナミカルシステムを定式化する。
• プライマル変数、デュアル変数、およびそれらの速度を組み合わせたリャプノフ関数 $V(t, y, \lambda, z, \dot{y}, \dot{\lambda}, \dot{z})$ を導入し、安定性と収束性を分析する。
• リャプノフ関数を用いて、適切なパラメータ条件のもとで双対ギャップおよびプライマル・デュアル残差が $O(1/t^2)$ で減少することを証明する。
• 2つのネットワーク最適化問題にこの手法を適用する：1つはコアリション制約を伴う問題、もう1つは拡張モノトロープ構造を有する問題であり、それぞれに適合した分散アルゴリズムを導出する。
• ラグランジュフレームワークを用いて、軌道が有界であり、制約を満たしながら最適解に収束することを保証する。
• 対数和指数関数をコスト関数に持つネットワーク最適化問題における数値シミュレーションを通じて、本手法の有効性を検証し、従来手法（[2]および[19]）と比較してより高速な収束を示す。

実験結果

リサーチクエスチョン

• RQ1 線形等式制約を伴う凸問題に対して、連続時間のプライマル・デュアル手法が最適な $O(1/t^2)$ 収束速度を達成できるか？
• RQ2 特に減衰係数において、加速収束を達成するための重要なパラメータ選定は何か？
• RQ3 Nesterovの加速は、連続時間のプライマル・デュアル設定にどのように適応可能か？制約を扱いながら最適収束を維持するには？
• RQ4 提案手法は、コアリションまたはモノトロープ制約を伴う分散ネットワーク最適化問題に拡張可能か？その際、加速性を保持できるか？
• RQ5 リャプノフ関数は、提案されたダイナミカルシステムの収束性およびレート解析を証明する上で果たす役割は何か？

主な発見

• 提案された連続時間のプライマル・デュアル手法は、双対ギャップに対して $O(1/t^2)$ の収束速度を達成し、これは1次最適化手法にとって最適である。
• 本手法により $L_2(y(t), z^*, \lambda^*) - L_2(y^*, z^*, \lambda(t)) = O(1/t^2)$ が成立し、ラグランジュ関数の高速収束を示す。
• デュアル変数のノルムは $\|\lambda(t)^\top L_{n\circ m} \lambda(t)\| = O(1/t^2)$ を満たし、制約の高速満たしを確認する。
• プライマルおよびデュアルの速度項は $O(1/t)$ で減少し、滑らかな収束行動を示す。
• 数値的シミュレーションにより、本手法が[2]および[19]の手法と比較してより高速に収束することが確認され、特にコスト関数の対数スケールプロットで顕著である。
• アルゴリズムは制約違反 $\|d_0 - Wy\|^2$ をゼロに導くことができ、解の妥当性を確認する。