[論文レビュー] COLA: Communication-Efficient Decentralized Linear Learning

Lie He, An Bian+1 more|arXiv (Cornell University)|Jan 1, 2018

Privacy-Preserving Technologies in Data被引用数 1

ひとこと要約

COLA は、中央集権的な調整者を必要とせず、通信効率を高め、分散型のアルゴリズムとして線形モデルを学習するための手法を提案する。局所的な更新と適応的通信を活用することで、スケーラビリティとレジリエンスを実現する。動的で分散型のネットワーク環境において、既存の手法を上回る収束速度と通信効率を達成する。

ABSTRACT

Decentralized machine learning is a promising emerging paradigm in view of global challenges of data ownership and privacy. We consider learning of linear classification and regression models, in the setting where the training data is decentralized over many user devices, and the learning algorithm must run on-device, on an arbitrary communication network, without a central coordinator. We propose COLA, a new decentralized training algorithm with strong theoretical guarantees and superior practical performance. Our framework overcomes many limitations of existing methods, and achieves communication efficiency, scalability, elasticity as well as resilience to changes in data and participating devices.

研究の動機と目的

• 厳密なデータの機微性と所有制約が課される環境における分散型機械学習の課題に対処すること。
• 任意の通信ネットワーク上で中央集権的な調整者なしに動作する分散型学習アルゴリズムを設計すること。
• 動的で現実世界の環境においても、高い通信効率を維持しながら強力な収束保証を達成すること。
• 分散型学習システムにおけるデバイスやデータ分布の変化に対して、スケーラビリティとレジリエンスを確保すること。

提案手法

• COLA は、双対昇下と一貫性に基づく更新を用いた分散型最適化フレームワークを採用し、複数のデバイス上で線形モデルを学習する。
• 通信オーバーヘッドを低減するために、局所的なモデル更新と周期的な同期を実装する。
• 局所的な進捗状況とネットワーク状態に基づき、通信頻度を動的に調整する。
• グローバル最適化と局所計算を分離するための双対分解アプローチを導入し、中央制御なしでの連携を可能にする。
• データ分布とネットワーク接続性に関する弱い仮定のもとで、最適解への収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 中央集権的な調整者なしに、分散環境で線形モデルを効率的に学習する方法は何か？
• RQ2 動的ネットワーク環境において、収束保証を維持しながら通信効率を高める通信戦略は何か？
• RQ3 現実世界の分散型システムで一般的なデバイスやデータ分布の変化が生じた場合、アルゴリズムの性能はどのように変化するか？
• RQ4 計算能力や通信能力にばらつきがある多数のデバイスに対しても、このフレームワークはスケーラブルに動作するか？

主な発見

• 同じ通信予算のもとで、既存の分散型アルゴリズムに比べて COLA はより速い収束を達成する。
• デバイスの離脱や動的変化するデータ分布に対しても、COLA は強いレジリエンスを示す。
• 通信効率が顕著に向上し、収束に必要な通信ラウンド数が削減される。
• 異種のデータやネットワーク条件が存在する状況でも、多数のデバイスへのスケーリングを効果的に維持する。