[論文レビュー] A Communication Efficient Collaborative Learning Framework for Distributed Features

Yang Liu, Yan Kang+6 more|arXiv (Cornell University)|Dec 24, 2019

Privacy-Preserving Technologies in Data参考文献 37被引用数 57

ひとこと要約

本論文は FedBCD を提案します。垂直分割特徴を持つ協調学習を行う際の通信効率を向上させ、同期前に複数のローカル更新を実行することで、O(1/√T) の精度を O(√T) の通信ラウンド数で達成します。

ABSTRACT

We introduce a collaborative learning framework allowing multiple parties having different sets of attributes about the same user to jointly build models without exposing their raw data or model parameters. In particular, we propose a Federated Stochastic Block Coordinate Descent (FedBCD) algorithm, in which each party conducts multiple local updates before each communication to effectively reduce the number of communication rounds among parties, a principal bottleneck for collaborative learning problems. We analyze theoretically the impact of the number of local updates and show that when the batch size, sample size, and the local iterations are selected appropriately, within $T$ iterations, the algorithm performs $\mathcal{O}(\sqrt{T})$ communication rounds and achieves some $\mathcal{O}(1/\sqrt{T})$ accuracy (measured by the average of the gradient norm squared). The approach is supported by our empirical evaluations on a variety of tasks and datasets, demonstrating advantages over stochastic gradient descent (SGD) approaches.

研究の動機と目的

• 同じユーザーに対して異なる特徴を保持するデータサイロ間で、 raw データやモデルを共有せずに学習を促進する。
• 垂直分割データに対して inter-party communication を最小化する通信効率的なアルゴリズムを開発する。
• 提案された FedBCD のローカル更新とともに収束保証を提供する。
• 多様なデータセットとモデルにわたる実践的な有効性を示す。
• 連携転移学習とセキュリティを考慮した拡張を検討する。

提案手法

• パーティが通信時にサンプルごとに1つの値だけを共有する Federated Stochastic Block Coordinate Descent (FedBCD) を導入する。
• 通信間に複数のローカル更新 (Q) を許すことでラウンドを削減し、並列版 FedBCD-p および逐次版 FedBCD-s を形成する。
• 局所情報 H と部分勾配を用いて勾配更新を導出する：g_k(Θ;S) = ∇_k f(H_{-k}, θ_k; S) + λ∇γ(θ_k).
• 適切なバッチサイズ、ローカル反復回数、学習率が揃えば、O(1/√T) の精度を O(√T) の通信ラウンドで達成できる収束解析を提供する。
• 大きな Q に対して安定性を向上させる近接項付き変種 FedPBCD-p を提示する。
• 提案されたリークモデルの下でデータプライバシーが保持されることを示すセキュリティ配慮について議論する。

実験結果

リサーチクエスチョン

• RQ1 垂直分割型協調学習において、通信前の複数ローカル更新は全体の通信ラウンドを削減できるか。
• RQ2 部分勾配の古い情報を使用する FedBCD の収束保証はどうなるか。
• RQ3 実データセットで並列および逐次のローカル更新バリアントは実践上どう比較されるか。
• RQ4 ローカル更新が大きい場合、近接項は収束を改善するか。
• RQ5 連携転移学習とプライバシー保護設定下でのフレームワークの性能はどうなるか。

主な発見

• FedBCD は適切な設定下で O(1/√T) の収束速度を O(√T) の通信ラウンドで達成する。
• MIMIC-III および MNIST-CNN の実験では、局所更新回数 Q を増やすと通信ラウンドが削減され、ベースライン SGD と同程度の収束性を保つ。
• FedBCD-p（並列）と FedBCD-s（逐次）は収束性が概ね同等で、逐次更新のため FedBCD-s の方がwall-clock time が大きくなる。
• 近接 FedPBCD-p は大きな Q に対して収束を安定化させ、大きな Q の領域では FedBCD-p より高い精度に到達可能。
• 連携転移学習タスク（NUS-FTL）での FedBCD の適用は通信を削減しつつ有効な性能を示す。
• HE対応設定では、より大きな Q は通信回数を減らす一方で計算量は増加するが、全体の時間削減につながる。