[論文レビュー] LAG: Lazily Aggregated Gradient for Communication-Efficient Distributed Learning

Tianyi Chen, Georgios B. Giannakis+2 more|arXiv (Cornell University)|May 24, 2018

Stochastic Gradient Optimization Techniques被引用数 198

ひとこと要約

LAGは分散学習での通信を遅延的に再利用された勾配を導入し、通信ラウンドを削減しつつ、異種データ設定での収束率をバッチ勾配下降と同等に達成します。

ABSTRACT

This paper presents a new class of gradient methods for distributed machine learning that adaptively skip the gradient calculations to learn with reduced communication and computation. Simple rules are designed to detect slowly-varying gradients and, therefore, trigger the reuse of outdated gradients. The resultant gradient-based algorithms are termed Lazily Aggregated Gradient --- justifying our acronym LAG used henceforth. Theoretically, the merits of this contribution are: i) the convergence rate is the same as batch gradient descent in strongly-convex, convex, and nonconvex smooth cases; and, ii) if the distributed datasets are heterogeneous (quantified by certain measurable constants), the communication rounds needed to achieve a targeted accuracy are reduced thanks to the adaptive reuse of lagged gradients. Numerical experiments on both synthetic and real data corroborate a significant communication reduction compared to alternatives.

研究の動機と目的

• 複数のワーカーを持つ分散学習における通信効率の良い勾配法の動機付けと開発。
• 収束を損なうことなく反復ごとの通信を削減するための遅延勾配集約を導入。
• 凸・強凸・非凸の滑らかな条件の下で理論的な収束保証を提供。
• 異種データ設定における通信削減を定量化し、LAG が標準の GD を上回る条件を特定。

提案手法

• LAG を、更新が大きくない限りワーカーからの古い勾配を再利用する遅延更新として、GD のステップとして定式化。
• 勾配が ∇^k = ∇^{k-1} + ∑_{m∈M^k} δ∇^k_m で更新される LAG の反復を定義し、 δ∇^k_m = ∇L_m(θ^k) − ∇L_m(hatθ_m^{k-1})。
• 2 つの実装バリアントを提案: LAG-WK（ワーカーが送信時期を決定）と LAG-PS（サーバーが通信するワーカーを決定）。
• LAG の降下補題を導出（補題1および補題2）し、収束を解析する Lyapunov 関数 V^k を設定。
• 反復と通信の複雑さの結果を提供し、異種設定で C_LAG(ε) < C_GD(ε) となる条件を示す。
• 勾配と最近の反復に基づく実践的なトリガールールを検討（LAG-WK 条件と LAG-PS 条件）で通信と収束のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 遅延勾配集約は、凸・強凸・非凸の滑らかな設定において、バッチ GD と同等の収束速度を達成できるか。
• RQ2 従来の GD と比較して、どのような異質性条件下で LAG は通信ラウンドを削減するか。
• RQ3 提案されたトリガールール（LAG-WK および LAG-PS）が、反復ごとの降下と全体の通信複雑さにどう影響するか。
• RQ4 データの異質性の影響を、異質性スコア h(γ) を通じて LAG の性能に与える影響は何か？

主な発見

• LAG は強凸・凸・非凸滑らかなケースで、バッチ GD と同じ次数の収束速度を達成する。
• 遅延勾配を再利用して、異種データ設定で通信ラウンドを大幅に削減できる。
• 定量的な通信複雑性の境界は、十分な割合のワーカーが小さな局所滑らかさ L_m を持つ場合に C_LAG(ε) < C_GD(ε) となる可能性を示す。
• 実用的な 2 つのバリアント（LAG-WK と LAG-PS）は、異なる通信戦略で同等の収束保証を提供する。
• 実証的な結果は、代替案と比較して著しい通信削減を示し、理論的利点を裏付ける。