[論文レビュー] Consensus Control for Decentralized Deep Learning

Lingjing Kong, Tao Lin+3 more|arXiv (Cornell University)|Feb 9, 2021

Privacy-Preserving Technologies in Data参考文献 63被引用数 8

ひとこと要約

本論文は、分散型ディープラーニングにおける一般化性能に影響を与える主要因として、『コンセンサス距離』——各デバイス間のモデルパラメータの平均差異——を同定した。学習中にコンセンサス距離を適応的に制御することで、環状などのスパarsなトポロジーでさえも、中央集権的学習と同等の性能を達成可能であり、通信の効率性とモデル品質のバランスを取る原理的通信制御が可能となる。

ABSTRACT

Decentralized training of deep learning models enables on-device learning over networks, as well as efficient scaling to large compute clusters. Experiments in earlier works reveal that, even in a data-center setup, decentralized training often suffers from the degradation in the quality of the model: the training and test performance of models trained in a decentralized fashion is in general worse than that of models trained in a centralized fashion, and this performance drop is impacted by parameters such as network size, communication topology and data partitioning. We identify the changing consensus distance between devices as a key parameter to explain the gap between centralized and decentralized training. We show in theory that when the training consensus distance is lower than a critical quantity, decentralized training converges as fast as the centralized counterpart. We empirically validate that the relation between generalization performance and consensus distance is consistent with this theoretical observation. Our empirical insights allow the principled design of better decentralized training schemes that mitigate the performance drop. To this end, we provide practical training guidelines and exemplify its effectiveness on the data-center setup as the important first step.

研究の動機と目的

• 分散学習が中央集権的学習と同程度の最適化収束を示すにもかかわらず、なぜ一般化性能が劣ることが多いのかを理解すること。
• 特にi.i.d.データを用いたデータセンター環境における分散型ディープラーニングの一般化ギャップの根本的要因を同定すること。
• 通信効率を損なわずに一般化性能を向上させるために、学習中にコンセンサス距離を原理的かつ制御する手法を開発すること。
• コンセンサス距離が多様なアーキテクチャーや通信トポロジーにおいてモデル性能に与える影響を、重要な調整可能なパラメータとして実証すること。

提案手法

• コンセンサス距離を、各デバイスにおけるモデルパラメータがグローバル平均からどれだけ平均的に逸脱しているかを測る指標として導入する。
• 通信頻度や局所更新ステップ数を動的に調整することで、最適なコンセンサス距離を維持する、適応的コンセンサス制御を提案する。
• ガッソウ平均化を用いて分散型パラメータ集約を実行し、通信ラウンドごとの局所更新回数を制御することで、コンセンサス距離を調整する。
• 通信トポロジー（例：リング、指数的グラフ）のスペクトルギャップ解析を用い、ネットワーク構造とコンセンサス収束速度の関係を明らかにする。
• 複数のベンチマークを用いて手法を評価：CIFAR-10におけるResNet-20、ImageNet-32、およびMulti30kにおけるダウンサンプリング版Transformer。
• 学習の初期段階と後期段階で異なるコンセンサス距離を制御するフェーズ別トレーニング制御を導入し、性能ダイナミクスに関する実証的知見に基づく。

実験結果

リサーチクエスチョン

• RQ1 データセンター環境における中央集権的学習と分散型学習の間の一般化ギャップの原因は何か？
• RQ2 コンセンサス距離——各デバイス間のモデルパラメータの平均差異——は、学習およびテスト性能にどのように影響を与えるか？
• RQ3 一般化性能を最大化する最適なコンセンサス距離が存在するか？また、これは学習フェーズによって変化するか？
• RQ4 適応的コンセンサス制御を用いることで、通信効率を損なわずに分散学習で中央集権的レベルの性能を達成できるか？
• RQ5 異なる通信トポロジー（例：リング、指数的グラフ）や学習アルゴリズム（例：Adam）は、分散型学習におけるコンセンサス距離とどのように相互作用するか？

主な発見

• コンセンサス距離が臨界閾値未満に保たれていれば、分散学習は中央集権的学習と同等の速度で収束することが確認され、理論的収束同等性が裏付けられた。
• リングトポロジーで64台のワーカーを用いたCIFAR-10におけるResNet-20の学習では、分散学習で89.58%のテスト精度を達成した一方、All-Reduceでは92.71%であった。これは顕著な一般化ギャップを示している。
• 最適なコンセンサス距離（例：局所更新ステップ数による制御）を用いた適応的コンセンサス制御により、テスト精度が向上した。時変する指数的グラフ上では、0.25×φ^ema_tで93.13%のピーク性能を記録し、ベースラインの92.64%を上回った。
• 初期学習段階が極めて重要である：初期段階でコンセンサス距離を低く保つことで、最終的な一般化性能が顕著に向上する。一方、後期段階での高いコンセンサス距離は、場合によっては有益である。
• Multi30kにおけるTransformerモデルでは、分散型Adamが局所的モーメントバッファの発散により一般化に失敗した。学習率のチューニングでは解決できず、コンセンサス制御の必要性が強く示された。
• 実証的結果から、収益逓減効果が確認された：臨界閾値未満でコンセンサス距離をさらに小さくしても、追加の性能向上は得られず、最適なコンセンサス距離の存在が裏付けられた。