[論文レビュー] MixML: A Unified Analysis of Weakly Consistent Parallel Learning

Yucheng Lu, J. Gregory Nash+1 more|arXiv (Cornell University)|May 14, 2020

Stochastic Gradient Optimization Techniques参考文献 46被引用数 4

ひとこと要約

MixML は、通信を混合時間 $t_{\text{mix}}$ を通じてモデル化することにより、弱く整合性のある並列機械学習の分析のための統一フレームワークを導入し、収束境界をこのパラメータにのみ依存させる。これは、非同期および分散設定における SGD、AMSGrad、RMSProp に対する既存の境界を一般化・改善する。

ABSTRACT

Parallelism is a ubiquitous method for accelerating machine learning algorithms. However, theoretical analysis of parallel learning is usually done in an algorithm- and protocol-specific setting, giving little insight about how changes in the structure of communication could affect convergence. In this paper we propose MixML, a general framework for analyzing convergence of weakly consistent parallel machine learning. Our framework includes: (1) a unified way of modeling the communication process among parallel workers; (2) a new parameter, the mixing time tmix, that quantifies how the communication process affects convergence; and (3) a principled way of converting a convergence proof for a sequential algorithm into one for a parallel version that depends only on tmix. We show MixML recovers and improves on known convergence bounds for asynchronous and/or decentralized versions of many algorithms, includingSGD and AMSGrad. Our experiments substantiate the theory and show the dependency of convergence on the underlying mixing time.

研究の動機と目的

• 弱く整合性のある並列学習システムにおける収束を分析するための統一された理論的フレームワークの欠如に対処すること。
• 既存の収束解析におけるプロトコル固有の仮定の制限を克服し、比較や再利用を妨げる要因を排除すること。
• 計算と通信の詳細に依存せずに、混合時間 $t_{\text{mix}}$ のみを用いて、逐次的な収束証明を並列版に変換する一般化された手法を開発すること。
• システムの詳細（ハードウェアやネットワークトポロジ）に依存せずに、通信構造が収束に与える影響を原理的かつ定量的に評価する方法を提供すること。

提案手法

• 通信を状態遷移の系列として抽象化する一般フレームワーク、MixML を導入する。
• 混合時間 $t_{\text{mix}}$ を定義し、ワーカーがどのように速く合意に達するかを測る指標とする。これはマルコフ連鎖理論に由来する。
• 収束境界が $t_{\text{mix}}$ のみに依存する統一された収束解析を定式化し、計算と通信の詳細を分離する。
• 既存の逐次収束証明を $t_{\text{mix}}$ を用いて並列版に変換する変換手法を提案する。
• SGD や AMSGrad や RMSProp といった標準的な最適化アルゴリズムにこのフレームワークを適用し、新たなまたは改善された収束境界を導出する。
• 通信頻度の低減やスラック行列の調整によって $t_{\text{mix}}$ を変化させることで理論を実験的に検証する実験を設計する。

実験結果

リサーチクエスチョン

• RQ1 多様な通信プロトコルが弱く整合性のある並列学習の収束に与える影響を、1つの統一されたパラメータが効果的に捉えることができるか？
• RQ2 混合時間 $t_{\text{mix}}$ は、SGD や AMSGrad などの並列最適化アルゴリズムの収束速度とどのように関係するか？
• RQ3 既存の逐次アルゴリズムの収束証明を、$t_{\text{mix}}$ のみを用いて体系的に並列設定に適応できるか？
• RQ4 中央集権的、分散的、同期的、非同期的といった異なる通信プロトコルは、混合時間にどのように影響を与え、結果として学習の収束にどのように影響するか？
• RQ5 数値精度の制限は、パラメータスケーリング（例：スラック行列法）による混合時間の調整の実用性にどの程度制限を及えるか？

主な発見

• 混合時間 $t_{\text{mix}}$ は、通信プロトコルが収束に与える影響を効果的に定量化する。$t_{\text{mix}}$ が大きいほど合意形成が遅くなり、収束も遅くなる。
• 通信頻度の低減は、スラック行列法に比べて、特に大きな値での $t_{\text{mix}}$ の増加に対してよりロバストである。これは数値誤差が少ないため。
• スラック行列法で $t_{\text{mix}}$ を 1000 倍に増加させた場合、数値精度の問題（例：1e-9 未満の更新）が生じ、学習の不安定化を引き起こす。
• このフレームワークは、非同期および分散版の SGD と AMSGrad に対して、既知の収束境界を回復し、それらを改善する。
• CIFAR-10 における ResNet20 のトレーニング実験では、$t_{\text{mix}}$ が増加するにつれて収束速度が劣化することが確認され、理論的依存関係が妥当であることが裏付けられた。
• 検証されたプロトコルの中で、AsyncDR（非同期分散リング）は、ワーカー数の増加に伴い $t_{\text{mix}}$ の増加が最も速く、高い通信遅延を示している。