[論文レビュー] Revisiting EXTRA for Smooth Distributed Optimization

Huan Li, Zhouchen Lin|arXiv (Cornell University)|Feb 24, 2020

Stochastic Gradient Optimization Techniques参考文献 26被引用数 9

ひとこと要約

この論文は、分散平滑最適化のための分散型アルゴリズム EXTRA を再考し、より鋭い複雑さの分析を提供するとともに、Catalystフレームワークを用いた加速版を提案する。加速版 EXTRA は、理論的下界から対数的要因のみ異なる通信量と計算量の複雑さを達成し、良好に接続されたネットワークや高精度な応用において極めて効率的である。

ABSTRACT

EXTRA is a popular method for dencentralized distributed optimization and has broad applications. This paper revisits EXTRA. First, we give a sharp complexity analysis for EXTRA with the improved $O\left(\left(\frac{L}μ+\frac{1}{1-σ_2(W)} ight)\log\frac{1}{ε(1-σ_2(W))} ight)$ communication and computation complexities for $μ$-strongly convex and $L$-smooth problems, where $σ_2(W)$ is the second largest singular value of the weight matrix $W$. When the strong convexity is absent, we prove the $O\left(\left(\frac{L}ε+\frac{1}{1-σ_2(W)} ight)\log\frac{1}{1-σ_2(W)} ight)$ complexities. Then, we use the Catalyst framework to accelerate EXTRA and obtain the $O\left(\sqrt{\frac{L}{μ(1-σ_2(W))}}\log\frac{ L}{μ(1-σ_2(W))}\log\frac{1}ε ight)$ communication and computation complexities for strongly convex and smooth problems and the $O\left(\sqrt{\frac{L}{ε(1-σ_2(W))}}\log\frac{1}{ε(1-σ_2(W))} ight)$ complexities for non-strongly convex ones. Our communication complexities of the accelerated EXTRA are only worse by the factors of $\left(\log\frac{L}{μ(1-σ_2(W))} ight)$ and $\left(\log\frac{1}{ε(1-σ_2(W))} ight)$ from the lower complexity bounds for strongly convex and non-strongly convex problems, respectively.

研究の動機と目的

• 平滑で強い凸および強く凸でない問題に対する元来の EXTRA アルゴリズムの複雑さの洗練された分析を提供すること。
• 既存の加速フレームワークを用いた EXTRA の加速という未解決の問題に取り組むこと。
• 通信および計算の複雑さが理論的下界からほとんど差がない、ほぼ最適な水準に達すること。
• さまざまなネットワークトポロジーおよび問題条件において、加速版 EXTRA のパフォーマンスを最先端手法と比較して評価すること。

提案手法

• 条件数 $ \frac{L}{\mu} $ とネットワーク接続性パラメータ $ \frac{1}{1 - \sigma_2(W)} $ の相互作用を分析することで、元来の EXTRA の鋭い収束速度を導出する。
• Catalystフレームワークを適用して EXTRA を加速し、収束速度を向上させるために、プロキシマルに似た外側のループに埋め込む。
• 二段階の反復スキームを導入：内側の反復で勾配追跡を、外側の反復で加速を実行。ステップサイズとモーメンタムパラメータを適応的に設定。
• 定常ステップサイズを維持しながら収束速度を向上させるデュアルベースの加速メカニズムを導入。各反復における通信量は増加しない。
• 強い凸および強く凸でない設定の両方において収束挙動を分析し、$ L, \mu, \epsilon, \sigma_2(W) $ を用いた明示的な複雑さの上限を導出。
• オリジナル版および加速版 EXTRA のタイトな収束保証を確立するため、新規のリャプノフ関数解析を採用。

実験結果

リサーチクエスチョン

• RQ1 平滑で分散型最適化のための元来の EXTRA アルゴリズムの正確な通信および計算複雑さは何か？
• RQ2 Catalyst などの既知の加速フレームワークを用いて、EXTRA の収束速度を向上させることは可能か？
• RQ3 加速版 EXTRA は、分散環境における通信および計算複雑さの理論的下界からどの程度近いか？
• RQ4 さまざまなネットワークトポロジーおよび問題条件において、加速版 EXTRA は ADA や APM-C といった最先端手法と比べてどのように性能を発揮するか？
• RQ5 どのような条件下で、加速版 EXTRA はベースライン手法を上回るか、あるいは劣るか？

主な発見

• 強い凸で $ L $-スムーズな問題に対して、元来の EXTRA は通信および計算複雑さとして $ O\left(\left(\frac{L}{\mu} + \frac{1}{1 - \sigma_2(W)}\right)\log\frac{1}{\epsilon(1 - \sigma_2(W))}\right) $ を達成する。
• 強く凸でない問題に対しては、複雑さは $ O\left(\left(\frac{L}{\epsilon} + \frac{1}{1 - \sigma_2(W)}\right)\log\frac{1}{1 - \sigma_2(W)}\right) $ である。
• Catalyst を用いた加速版 EXTRA は、強い凸問題に対して $ O\left(\sqrt{\frac{L}{\mu(1 - \sigma_2(W))}}\log\frac{L}{\mu(1 - \sigma_2(W))}\log\frac{1}{\epsilon}\right) $ の複雑さを達成し、理論的下界から対数的要因のみの差異を示す。
• 強く凸でない問題に対しては、加速版は $ O\left(\sqrt{\frac{L}{\epsilon(1 - \sigma_2(W))}}\log\frac{1}{\epsilon(1 - \sigma_2(W))}\right) $ の複雑さを達成し、再び理論的最小値から対数的要因のみの差異を示す。
• 数値実験では、$ \frac{1}{1 - \sigma_2(W)} $ が小さい良好に接続されたネットワークにおいて、加速版 EXTRA が元来の EXTRA や ADA、APM-C を上回ることを示した。特に高精度な状況で顕著な優位性を示す。
• また、$ \mu $ や $ \frac{1}{1 - \sigma_2(W)} $ が大きい場合にはパフォーマンスが劣化する傾向があり、悪条件やネットワーク接続性の悪さに対して感受性が高いことが示された。