[論文レビュー] A primal-dual algorithm with optimal stepsizes and its application in decentralized consensus optimization

Zhi Li, Ming Yan|arXiv (Cornell University)|Nov 18, 2017

Sparse and Compressive Sensing Techniques参考文献 18被引用数 12

ひとこと要約

本稿では、$ f(x) + h \square l(Ax) $ の形をした合成関数を最小化するための強化されたプライマル・デュアルアルゴリズムを提案する。ここで $ f $ は微分可能で、$ l^* $ は微分可能である。弱い条件下で収束性を確立し、最適なデュアルステップサイズを用いる。追加の仮定の下で線形収束を証明し、分散型コンSENSUS最適化に応用することで、従来の知られていたものよりも大きな最適ステップサイズを EXTRA や PG-EXTRA に対して導出する。

ABSTRACT

We consider a primal-dual algorithm for minimizing $f(x)+h(Ax)$ with differentiable $f$. The primal-dual algorithm has two names in literature: Primal-Dual Fixed-Point algorithm based on the Proximity Operator (PDFP$^2$O) and Proximal Alternating Predictor-Corrector (PAPC). In this paper, we extend it to solve $f(x)+h\square l(Ax)$ with differentiable $l^*$ and prove its convergence under a weak condition (i.e., under a large dual stepsize). With additional assumptions, we show its linear convergence. In addition, we show that this condition is optimal and can not be weaken. This result recovers the recent proposed positive-indefinite linearized augmented Lagrangian method. Then we consider the application of this primal-dual algorithm in decentralized consensus optimization. We show that EXact firsT-ordeR Algorithm (EXTRA) and Proximal Gradient-EXTRA (PG-EXTRA) can be consider as the primal-dual algorithm applied on a problem in the form of $h\square l(Ax)$. Then, the optimal upper bound of the stepsize for EXTRA/PG-EXTRA is derived. It is larger than the existing work on EXTRA/PG-EXTRA. Furthermore, for the case with strongly convex functions, we proved linear convergence under the same condition for the stepsize.

研究の動機と目的

• Infimal convolution $ h \square l(Ax) $ を含む合成関数を扱えるように、プライマル・デュアルアルゴリズム PDFP$^2$O/PAPC を拡張すること。
• 大きなデュアルステップサイズを許容する弱い条件下で収束性を確立し、この条件が最適であることを証明すること。
• 分散型コンセンサス最適化アルゴリズム EXTRA および PG-EXTRA のステップサイズの最適上界を導出すること。
• 同じ最適ステップサイズ条件の下で、強い凸関数に対して線形収束を証明すること。

提案手法

• アルゴリズムは、近接作用素に基づくプライマル・デュアル固定点反復として定式化され、微分可能な $ l^* $ を持つ $ f(x) + h \square l(Ax) $ を扱えるように拡張されている。
• 収束性は、大きなデュアルステップサイズを許容する弱い条件下で証明され、理論的解析を通じてこの条件が最適であることが示されている。
• アルゴリズムは、infimal convolution $ h \square l(Ax) $ の構造を活用して、分散型コンセンサス問題をモデル化する。
• 問題を $ h \square l(Ax) $ の形に再定式化することで、分散型コンセンサス最適化にアルゴリズムを適用し、EXTRA や PG-EXTRA を特別なケースとして分析できるようにしている。
• 強い凸性などの追加仮定の下で、同じ最適ステップサイズ条件の下で線形収束が確立されている。
• 解析により、正定値でない線形化されたラグランジュ乗数法が特別なケースとして回復され、最近の進展と整合性が確認されている。

実験結果

リサーチクエスチョン

• RQ1 微分可能な $ l^* $ を持つ infimal convolution $ h \square l(Ax) $ を含む合成関数を扱えるように、プライマル・デュアルアルゴリズムを拡張できるか？
• RQ2 アルゴリズムの収束を保証するためのデュアルステップサイズに対する、最も弱い条件は何か？
• RQ3 導出された収束のためのステップサイズ条件は最適であり、さらに弱めることは可能か？
• RQ4 このアルゴリズムは、EXTRA や PG-EXTRA のような既存の分散型コンセンサス手法とどのように関係しているか？
• RQ5 EXTRA や PG-EXTRA のステップサイズの最適上界は何か？ また、強い凸問題に対してこの上界の下で線形収束が成立するか？

主な発見

• 提案されたプライマル・デュアルアルゴリズムは、大きなデュアルステップサイズを許容する弱い条件下で収束し、この条件が最適であり、さらに弱くすることはできないことが証明されている。
• 目的関数が強い凸性を満たす場合、同じ最適ステップサイズ条件の下で線形収束を達成する。
• EXTRA や PG-EXTRA のステップサイズの最適上界が導出され、従来の研究よりも大きな値であることが示された。
• EXTRA や PG-EXTRA は、形式的に $ h \square l(Ax) $ の形の問題に適用された本提案プライマル・デュアルアルゴリズムの特別なケースとして解釈される。
• 解析により、正定値でない線形化されたラグランジュ乗数法が特別なケースとして回復され、最近の進展と整合性が確認された。