[論文レビュー] DADAM: A Consensus-based Distributed Adaptive Gradient Method for Online Optimization

Parvin Nazari, Davoud Ataee Tarzanagh+1 more|arXiv (Cornell University)|Jan 25, 2019

Stochastic Gradient Optimization Techniques被引用数 15

ひとこと要約

DADAM は、分散ネットワークにおけるオンライン最適化のための、コンSENSUSに基づく分散適応勾配法を提案する。中央ノードを排除することで、データ並列化と通信オーバーヘッドの低減を実現する。理論的には、集中型適応手法よりも優れた動的リグレットバウンドを達成し、MNIST における訓練精度と収束速度の面で、Adam や Amsgrad などの競合手法を実験的に上回る。

ABSTRACT

Adaptive gradient-based optimization methods such as extsc{Adagrad}, extsc{Rmsprop}, and extsc{Adam} are widely used in solving large-scale machine learning problems including deep learning. A number of schemes have been proposed in the literature aiming at parallelizing them, based on communications of peripheral nodes with a central node, but incur high communications cost. To address this issue, we develop a novel consensus-based distributed adaptive moment estimation method ( extsc{Dadam}) for online optimization over a decentralized network that enables data parallelization, as well as decentralized computation. The method is particularly useful, since it can accommodate settings where access to local data is allowed. Further, as established theoretically in this work, it can outperform centralized adaptive algorithms, for certain classes of loss functions used in applications. We analyze the convergence properties of the proposed algorithm and provide a dynamic regret bound on the convergence rate of adaptive moment estimation methods in both stochastic and deterministic settings. Empirical results demonstrate that extsc{Dadam} works also well in practice and compares favorably to competing online optimization methods.

研究の動機と目的

• 集中型適応最適化における高い通信コストを軽減するため、分散型の代替手法を設計すること。
• 局所的なデータアクセスと中央ノードの不在を前提とした、大規模機械学習における効率的なオンライン学習を可能にすること。
• 確率的および決定的設定の両方において、適応的モーメント推定の動的リグレットバウンドを理論的に確立すること。
• 特定の損失関数クラスにおいて、DADAM が集中型適応アルゴリズムを上回ることを示すこと。
• コンセンサスに基づく計算とネットワークトポロジー認識を用いて、耐障害性とスケーラビリティを確保すること。

提案手法

• エージェントが隣接ノードとのみ通信するコンセンサスベースのフレームワークを活用し、中央コーディネータを排除する。
• 適応的勾配更新と分散平均化を組み合わせた、新規の分散適応的モーメント推定アルゴリズム（DADAM）を導入する。
• メトロポリス重みを用いた時変動混合行列 $ W $ を用いて、ネットワーク全体に情報が拡散されるようにする。
• Adam と同様に、局所的コンセンサスを介して更新されるモーメント推定 $ m_t $ と $ v_t $ を用いて、適応的学習率を実装する。
• モーメント推定に指数的減衰率 $ \beta_{1,t} $、$ \beta_{2} $、$ \beta_{3} $ を用い、$ \beta_{3} $ が2次モーメントの更新を制御する。
• 非 i.i.d. および非定常な損失列の下で収束保証を得るために、動的リグレット解析を適用する。

実験結果

リサーチクエスチョン

• RQ1 分散型適応的勾配法は、Adam のような集中型適応手法よりも優れたリグレットバウンドを達成できるか？
• RQ2 特にスぺクトルギャップ $ \sigma_2(W) $ が、DADAM アルゴリズムの収束にどのように影響するか？
• RQ3 ハイパーパramータ（例：$ \beta_3 $）が、実用的な DADAM のパフォーマンスに与える影響は何か？
• RQ4 非凸的・非定常なオンライン学習設定において、DADAM は収束性と安定性を維持できるか？
• RQ5 訓練精度と損失低減の観点から、DADAM は既存の分散型および集中型適応手法を上回ることができるか？

主な発見

• DADAM は、ネットワーク接続性と学習率の減衰に明示的な依存を持つ、動的リグレットバウンド $ O\left(\frac{1}{T} \sum_{t=1}^T \alpha_t \right) $ を達成する。
• 実験的結果では、DADAM は MNIST において Amsgrad や Adam よりも高速に収束し、より高い訓練精度を達成する。特に、スパarsなネットワークトポロジーにおいて顕著な優位性を示す。
• スぺクトルギャップ $ \sigma_2(W) $ が大きいほどアルゴリズムの性能が向上し、よりスパースなネットワーク（良好なスぺクトルギャップを有する）が収束速度を向上させることを示している。
• $ \beta_3 = 0.9 $ や $ 0.99 $ に設定した場合、$ \beta_3 = 0 $ よりも優れた性能を示すため、非ゼロの減衰率が安定性を向上させると示唆される。
• 理論的分析により、勾配が非定常な場合に特に、DADAM が特定の損失関数クラスにおいて集中型適応手法を上回れることを確認した。
• $ \alpha_t = \frac{\alpha}{\sqrt{nT}} $ を用いることで、オンライン学習における探索と活用のバランスが向上し、収束速度が改善される。