[論文レビュー] On the Convergence of Decentralized Adaptive Gradient Methods

Xiangyi Chen, Belhal Karimi+2 more|arXiv (Cornell University)|Sep 7, 2021

Sparse and Compressive Sensing Techniques参考文献 43被引用数 5

ひとこと要約

本稿では、非凸最適化における収束性を保証する一般化されたフレームワークを提案する。Adam や AMSGrad などの集中型の適応的勾配法を、分散型に変換するもので、ノード間で適応的学習率の一致を強制することで、弱い条件下でも収束を保証する。理論的保証と実験的検証を併せ持ち、分散型 AMSGrad に対しては、初めての理論的収束率を有する収束性が保証された分散型適応的勾配法を達成した。

ABSTRACT

Adaptive gradient methods including Adam, AdaGrad, and their variants have been very successful for training deep learning models, such as neural networks. Meanwhile, given the need for distributed computing, distributed optimization algorithms are rapidly becoming a focal point. With the growth of computing power and the need for using machine learning models on mobile devices, the communication cost of distributed training algorithms needs careful consideration. In this paper, we introduce novel convergent decentralized adaptive gradient methods and rigorously incorporate adaptive gradient methods into decentralized training procedures. Specifically, we propose a general algorithmic framework that can convert existing adaptive gradient methods to their decentralized counterparts. In addition, we thoroughly analyze the convergence behavior of the proposed algorithmic framework and show that if a given adaptive gradient method converges, under some specific conditions, then its decentralized counterpart is also convergent. We illustrate the benefit of our generic decentralized framework on a prototype method, i.e., AMSGrad, both theoretically and numerically.

研究の動機と目的

• 非凸最適化における分散型適応的勾配法に理論的収束保証が欠如している問題に対処すること。
• 集中型の適応的勾配法（例：Adam、AMSGrad）をその分散型版に変換する一般化されたアルゴリズムフレームワークを開発すること。
• 収束性を保証する集中型適応的勾配法の分散版が収束するための条件を確立すること。
• プロトタイプ（分散型 AMSGrad）に対して、理論的および数値的検証を通じてフレームワークの実用的・理論的妥当性を示すこと。

提案手法

• 局所的更新と隣接ノード間の通信を用いて、集中型の適応的勾配法を分散型に適応する一般化された変換フレームワークを提案する。
• 適応的学習率の一致を重要な要素として導入し、ノード間で一貫したステップサイズを保証することで、発散を防ぐ。
• 各ノードが自身の隣人とのみ通信する固定の通信グラフを採用し、中央集権的なパラメータサーバーを避ける。
• 集中型手法の収束性とその分散型版の収束性を結びつける新しい理論的インターフェース（定理2）を用いて収束バウンドを導出する。
• フレームワークを AMSGrad に適用し、形式的な収束解析を伴う新しいアルゴリズム「分散型 AMSGrad」を導出する。
• 通信に起因する誤差を収束証明で定量化するために、行列の要素ごとの L1 ノルム（例：‖·‖_abs）を用いる。

実験結果

リサーチクエスチョン

• RQ1 Adam や AMSGrad などの適応的勾配法を、グローバルな調整がなくとも分散学習に成功裏に拡張できるか。
• RQ2 グローバルな調整が欠如する中で、適応的勾配法の分散版が収束するための条件は何か。
• RQ3 適応的学習率の一致が、分散型適応的勾配法の安定性と収束性に与える影響は何か。
• RQ4 提案された分散型 AMSGrad の収束速度は何か。また、既存の分散型手法と比較してどうなるか。
• RQ5 提案されたフレームワークは、AMSGrad を超える他の適応的勾配法に対しても一般化して適用可能か。

主な発見

• 提案されたフレームワークにより、元の集中型適応的勾配法が収束する限り、その分散版も弱い仮定のもとで収束することが保証される。
• 分散型 AMSGrad は、理論的収束率を有する最初の既知の収束性を保証する分散型適応的勾配法であることが証明された。
• 分散型 AMSGrad の収束速度は、O(√d / √(TN)) + O(N/T) + O(N^1.5 / T^1.5 d^0.5) + O(d√N log T / T) でバウンデッドされ、明示的な定数を有する。
• フレームワークにより、適応的学習率の一致が不可欠であることが特定された。これがないと、DADAM のような手法は発散する可能性があり、反例によって示された。
• 数値実験により理論的予測が確認され、分散環境でも安定的かつ効率的な学習が実現している。
• 通信コストは行列ノルム（例：‖·‖_abs）を用いて分析され、誤差の蓄積と収束性能の関係が明示された。