[論文レビュー] COLA: Decentralized Linear Learning

Lie He, An Bian+1 more|arXiv (Cornell University)|Aug 13, 2018

Privacy-Preserving Technologies in Data被引用数 43

ひとこと要約

COLA は任意のネットワーク上でデバイス上の一般化線形モデルを完全分散で訓練する枠組みで、収束保証、通信効率、トポロジーの変化やノードの可用性への耐性を提供します。

ABSTRACT

Decentralized machine learning is a promising emerging paradigm in view of global challenges of data ownership and privacy. We consider learning of linear classification and regression models, in the setting where the training data is decentralized over many user devices, and the learning algorithm must run on-device, on an arbitrary communication network, without a central coordinator. We propose COLA, a new decentralized training algorithm with strong theoretical guarantees and superior practical performance. Our framework overcomes many limitations of existing methods, and achieves communication efficiency, scalability, elasticity as well as resilience to changes in data and participating devices.

研究の動機と目的

• データ所有権とプライバシーを保護しつつ、分散デバイス間での共同訓練を可能にする分散学習を動機づける。
• 収束保証を有する一般化線形モデルの分散アルゴリズムを開発する。
• 通信効率、スケーラビリティ、動的なネットワークトポロジーとデータ変化への耐性を確保する。
• 中央集権的 CoCoA のアイデアを完全に分散化された設定へ橋渡しする primal-dual 手法を活用する。
• 分散デプロイメントの学習進行を監視する実用的な診断と証明書を提供する。

提案手法

• 分散最適化に適した原問題および双対問題の形で学習問題を定式化する（A）と（B）。
• 各ノードで近似的に解かれる局所データ局所サブ問題を持つ CoLa を導入する（Theta-近似）。
• 共有状態の局所推定 v_k と情報を中央集権のなく交換するゴシップ型混合行列 W を用いる。
• 局所データ A_[k] と隣接する v_l の項だけに依存する局所サブ問題 G_k^sigma' を定義する（式(2)）。
• v_k の更新とグローバルな集約パラメータ gamma による更新を統合して進行を保証する。
• 収束保証を確立する：強凸目的関数には線形収束、一般凸目的にはサブ線形収束、データ依存の定数と局所双対証明を伴う。

実験結果

リサーチクエスチョン

• RQ1 分散最適化は、デバイス間で i.i.d. データを仮定せずに、中央集権的方法と同等の収束保証を generalized linear models に対して達成できるか？
• RQ2 変化するネットワークとデータ分布を許容する、通信効率が高く弾力性がありフォールトトレラントな分散アルゴリズムをどのように設計するか？
• RQ3 完全に分散化された設定で、強凸性と一般凸性の下でどの収束速度（線形 vs サブ線形）が証明できるか？
• RQ4 中央のコーディネータ無しでローカルに進捗を監視するにはどうすればよいか（ローカル証明書）？

主な発見

• CoLa は強凸成分に対して線形収束を達成し、一般凸目的にはサブ線形収束を示す。
• トポロジーの変化、ノードのドロップアウト、データ/パーティションの変更に対してロバストで、パラメータ調整は不要。
• CoLa は通信ラウンドと時間の点で DIGing や D-ADMM といった分散ベースラインを実験的に上回る。
• ローカル証明書により、グローバル同期や集中集約なしに進捗を診断できる。
• メソッドは時変グラフをサポートし、二次的問題の改善でさらなる利得を得られる可能性がある。