[論文レビュー] Robust and Communication-Efficient Collaborative Learning

Amirhossein Reisizadeh, Hossein Taheri+3 more|arXiv (Cornell University)|Jul 24, 2019

Stochastic Gradient Optimization Techniques参考文献 67被引用数 9

ひとこと要約

本稿では、デッドラインに基づくローカル計算とモデル量子化を用いることで、遅延ノードに対する耐性を高めるとともに通信効率を向上させる分散型確率的勾配降下法であるQuanTimed-DSGDを提案する。凸設定ではグローバル最適解への正確な収束を達成し、非凸設定では1次静止点への収束を保証する。MNISTおよびCIFAR-10において、最先端の手法と比較して最大3倍の高速化を達成した。

ABSTRACT

We consider a decentralized learning problem, where a set of computing nodes aim at solving a non-convex optimization problem collaboratively. It is well-known that decentralized optimization schemes face two major system bottlenecks: stragglers' delay and communication overhead. In this paper, we tackle these bottlenecks by proposing a novel decentralized and gradient-based optimization algorithm named as QuanTimed-DSGD. Our algorithm stands on two main ideas: (i) we impose a deadline on the local gradient computations of each node at each iteration of the algorithm, and (ii) the nodes exchange quantized versions of their local models. The first idea robustifies to straggling nodes and the second alleviates communication efficiency. The key technical contribution of our work is to prove that with non-vanishing noises for quantization and stochastic gradients, the proposed method exactly converges to the global optimal for convex loss functions, and finds a first-order stationary point in non-convex scenarios. Our numerical evaluations of the QuanTimed-DSGD on training benchmark datasets, MNIST and CIFAR-10, demonstrate speedups of up to 3x in run-time, compared to state-of-the-art decentralized optimization methods.

研究の動機と目的

• 分散型協調学習における2つの主要なシステム的ボトル neck を解決すること：遅延ノードに起因する遅延と高い通信オーバーヘッド。
• 非消滅する量子化と確率的勾配ノイズが存在する状況でも収束保証を維持する分散型最適化アルゴリズムを設計すること。
• 凸および非凸最適化設定の両方において、収束速度の向上とランタイム効率の改善を達成すること。
• 帯域制限があり、ノードの信頼性が低い大規模分散システムへの実用的導入を可能にすること。

提案手法

• 各ノードが反復毎に固定されたデッドライン $T_d$ を設け、個々の計算速度にかかわらず全ノードが同期して処理を進めるようにする。
• 隣接ノード間でのモデル更新を量子化することで、大規模ネットワークにおける通信負荷を軽減する。
• ローカル更新とコンSENSUSベースの平均化を組み合わせた分散型確率的勾配降下フレームワークを採用する。
• ネットワークトポロジー、量子化器、確率的勾配の標準仮定の下での理論的分析を統合する。
• リャプノフ解析と誤差分解を用いて、強い凸関数および非凸関数の両方の収束レートを導出する。
• 収束速度とコンセンサス誤差の減衰の両立を図るため、ステップサイズとパラメータを調整する。

実験結果

リサーチクエスチョン

• RQ1 非消滅する量子化と確率的勾配ノイズが存在する凸設定において、分散型最適化アルゴリズムがグローバル最適解への正確な収束を達成できるか？
• RQ2 システムレベルの制約下で、非凸最適化において提案手法が実際に1次静止点に収束するか、証明可能か？
• RQ3 デッドラインに基づく計算とモデル量子化の組み合わせが、収束速度と通信効率にどのように影響するか？
• RQ4 反復回数とシステムパラメータの観点から、提案手法の理論的収束レートは何か？
• RQ5 実世界のベンチマークデータセットにおいて、既存の分散型手法と比較して本手法が実用的な高速化を示すか？

主な発見

• QuanTimed-DSGD は、強い凸設定において、収束レートが $\mathcal{O}(1/\sqrt{T})$ に限りなく近づくように、グローバル最適解への正確な収束を達成する。
• 非凸設定では、収束レートが $\mathcal{O}(T^{-1/3})$ であるため、1次静止点への証明可能な収束が保証される。
• コンセンサス誤差は最適性ギャップと同じレートで減少し、十分に大きな $T$ に対して正確な収束が保証される。
• MNISTおよびCIFAR-10における数値評価では、最先端の分散型最適化手法と比較して最大3倍のランタイム高速化が達成された。
• 各反復で固定された計算デッドラインを強制することで、遅延ノードの待機を排除し、遅延に対する耐性を維持している。
• 量子化により通信オーバーヘッドが軽減され、収束性能に悪影響を及げないため、大規模かつ密なネットワークへの効率的導入が可能である。