[論文レビュー] Variance Reduced EXTRA and DIGing and Their Optimal Acceleration for Strongly Convex Decentralized Optimization

Huan Li, Zhouchen Lin+1 more|arXiv (Cornell University)|Sep 9, 2020

Stochastic Gradient Optimization Techniques参考文献 52被引用数 23

ひとこと要約

本稿では、分散最適化アルゴリズム EXTRA および DIGing の分散低減および加速版である VR-EXTRA、VR-DIGing、Acc-VR-EXTRA、Acc-VR-DIGing を提案し、強い凸問題において、確率的勾配評価回数と通信ラウンド数の両方で最適な収束速度を達成する。加速手法は、単一マシンおよびフルバッチ分散手法の最良の既知の複雑度と一致しており、通信と計算の両方の効率性を同時に最適化する最初の勾配型アルゴリズムである。

ABSTRACT

We study stochastic decentralized optimization for the problem of training machine learning models with large-scale distributed data. We extend the widely used EXTRA and DIGing methods with variance reduction (VR), and propose two methods: VR-EXTRA and VR-DIGing. The proposed VR-EXTRA requires the time of $O((κ_s+n)\log\frac{1}ε)$ stochastic gradient evaluations and $O((κ_b+κ_c)\log\frac{1}ε)$ communication rounds to reach precision $ε$, which are the best complexities among the non-accelerated gradient-type methods, where $κ_s$ and $κ_b$ are the stochastic condition number and batch condition number for strongly convex and smooth problems, respectively, $κ_c$ is the condition number of the communication network, and $n$ is the sample size on each distributed node. The proposed VR-DIGing has a little higher communication cost of $O((κ_b+κ_c^2)\log\frac{1}ε)$. Our stochastic gradient computation complexities are the same as the ones of single-machine VR methods, such as SAG, SAGA, and SVRG, and our communication complexities keep the same as those of EXTRA and DIGing, respectively. To further speed up the convergence, we also propose the accelerated VR-EXTRA and VR-DIGing with both the optimal $O((\sqrt{nκ_s}+n)\log\frac{1}ε)$ stochastic gradient computation complexity and $O(\sqrt{κ_bκ_c}\log\frac{1}ε)$ communication complexity. Our stochastic gradient computation complexity is also the same as the ones of single-machine accelerated VR methods, such as Katyusha, and our communication complexity keeps the same as those of accelerated full batch decentralized methods, such as MSDA.

研究の動機と目的

• 大規模分散データを用いた分散機械学習におけるフルバッチ勾配計算の高コストを軽減すること。
• 分散確率的最適化における収束複雑度のギャップを埋め、分散最適化における最適な確率的勾配評価回数と通信ラウンド数を達成すること。
• 広く使われている EXTRA および DIGing アルゴリズムに分散低減および加速を組み込みつつ、最適な収束速度を維持すること。
• グローバルなネットワークや他のノードに関する知識を必要としない、局所的なノードパラメータに依存する実用的なアルゴリズムを設計すること。
• DIGing の通信複雑度を O((κ_b + κ_c²) log(1/ε)) から O((κ_b + κ_c) log(1/ε)) に改善できるかを調査すること。

提案手法

• 局所的勾配追跡とサンプリングを用いて確率的勾配の分散を低減することで、EXTRA および DIGing フレームワークに分散低減を統合し、VR-EXTRA および VR-DIGing を導入する。
• 過去の勾配を記憶することで、各イテレーションの勾配分散を低減しつつも、グローバル収束を維持する修正された一貫性ベースの更新ルールを採用する。
• ネットワークの条件数 κ_c とバッチの条件数 κ_b を分析することで通信複雑度の上限を導出し、VR-EXTRA では O((κ_b + κ_c) log(1/ε))、VR-DIGing では O((κ_b + κ_c²) log(1/ε)) を示す。
• ネステロフ風モーメンタムと分散低減付きモーメンタムステップを用いた加速バージョンを提案し、O(√(nκ_s) + n) の確率的勾配評価回数と O(√(κ_b κ_c) log(1/ε)) の通信ラウンド数を達成する。
• 局所的ノード特性（L_(i), μ_(i)）に依存するパラメータ設定を設計することで実用性を向上させ、グローバルネットワーク知識への依存を低減する。
• 拡張ラグランジュアンと勾配追跡を用いた再定式化により、強い凸性と滑らかさの仮定の下で収束解析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 分散低減を効果的に EXTRA および DIGing に統合することで、単一マシンの VR 方法と一致する最適な確率的勾配評価複雑度を達成できるか？
• RQ2 VR-DIGing の通信複雑度を、VR-EXTRA と同等の O((κ_b + κ_c) log(1/ε)) に改善できるか、すなわち O((κ_b + κ_c²) log(1/ε)) から改善できるか？
• RQ3 VR-EXTRA および VR-DIGing の加速版が、最適な確率的勾配と通信複雑度の両方を同時に達成できるか？
• RQ4 提案された加速手法が、APAPC や MSDA などの最先端フルバッチ分散アルゴリズムの収束速度に一致できるか、かつ確率的手法の効率性を維持できるか？
• RQ5 理論的に最適な Acc-VR-EXTRA-CA および Acc-VR-DIGing-CA の変種は、下界に一致しているにもかかわらず、実際の実装では性能が劣る理由は何か？

主な発見

• VR-EXTRA は O((κ_s + n) log(1/ε)) の確率的勾配評価回数と O((κ_b + κ_c) log(1/ε)) の通信ラウンド数を達成し、非加速手法の最良の複雑度と一致する。
• VR-DIGing は O((κ_b + κ_c²) log(1/ε)) の通信複雑度を示し、DIGing の勾配追跡構造のため、VR-EXTRA よりわずかに劣る。
• 加速版の Acc-VR-EXTRA および Acc-VR-DIGing は、O((√(nκ_s) + n) log(1/ε)) の確率的勾配評価回数と O(√(κ_b κ_c) log(1/ε)) の通信ラウンド数を達成し、単一マシンおよびフルバッチ手法の下界と一致する。
• 実験では、Acc-VR-EXTRA は通信コストにおいて最適なフルバッチ APAPC 方法と同等の性能を示し、理論的な通信複雑度の同等性を裏付けた。
• κ_s ≫ n の場合、加速版は非加速版を著しく上回るが、κ_s ≈ 10n の場合、改善がほとんどないため、加速は条件数が高い場合に最も効果的であることが示された。
• 理論的に最適な Acc-VR-EXTRA-CA および Acc-VR-DIGing-CA は、パラメータチューニングへの感受性が高いため、実際の実装では性能が劣る。これは理論と実装の間のギャップを示唆している。