[論文レビュー] Federated Multi-Task Learning

Virginia Smith, Chao-Kai Chiang+2 more|arXiv (Cornell University)|May 30, 2017

Privacy-Preserving Technologies in Data参考文献 45被引用数 115

ひとこと要約

この論文は、多タスク学習が統計的ヘテロジニティをフェデレーテッドデータに自然に対処することを主張し、Mocha を導入する。Mocha は分散型多タスク学習におけるストラグラー、障害、及び高い通信をサポートするシステム意識的な最適化手法で、収束保証を提供する。

ABSTRACT

Federated learning poses new statistical and systems challenges in training machine learning models over distributed networks of devices. In this work, we show that multi-task learning is naturally suited to handle the statistical challenges of this setting, and propose a novel systems-aware optimization method, MOCHA, that is robust to practical systems issues. Our method and theory for the first time consider issues of high communication cost, stragglers, and fault tolerance for distributed multi-task learning. The resulting method achieves significant speedups compared to alternatives in the federated setting, as we demonstrate through simulations on real-world federated datasets.

研究の動機と目的

• 統計的ヘテロジニティと実用的なシステム課題を背景に、フェデレーテッド学習を動機づける。
• エッジ分散データに適したマルチタスク学習の定式化を提案する。
• ストラグラーや障害に対処する CoCoA を拡張したフェデレーテッド最適化アルゴリズム Mocha を開発する。
• 現実的なストラグラー/障害の仮定の下で収束保証を提供する。
• 実世界のフェデレーテッドデータセットで実証的な性能を示す。

提案手法

• Omega 行列でモデル化されるタスク間の関係を持つ一般的な凸のマルチタスク学習問題を定式化する。
• CoCoA の primal-dual フレームワークを拡張し、エッジデバイスで解けるデータ局所のサブ問題を導出する。
• ノードごとのサブ問題を介して Alpha を局所更新し、W を中央で更新する交互最適化法 Mocha を導入する。
• ストラグラーやドロップされたノードを緩和するため、theta_t^h による局所サブ問題のノードごとの柔軟な近似を許容する。
• 滑らかさと各反復の近似パラメータに関する仮定のもと、双対ベースの収束解析を提供する。
• 現実のフェデレーテッドデータセット上のシミュレーションを通じて、通信コスト、ヘテロジニティ、ノードのドロップアウトに対するロバスト性を示す。

実験結果

リサーチクエスチョン

• RQ1 非IIDで不均衡な分散データに対して、グローバルモデルやローカルモデルと比べてフェデレーテッドマルチタスク学習は性能を改善できるか？
• RQ2 マルチタスク学習の目的関数を解きながら、ストラグラーや障害耐性を扱える分散最適化手法をどのように設計できるか？
• RQ3 現実的なシステム制約の下で、フェデレーテッドマルチタスクフレームワークに適用可能な収束保証は何か？

主な発見

モデル	Human Activity	Google Glass	Vehicle Sensor
Global	2.23 (0.30)	5.34 (0.26)	13.4 (0.26)
Local	1.34 (0.21)	4.92 (0.26)	7.81 (0.13)
MTL	0.46 (0.11)	2.02 (0.15)	6.59 (0.21)

• MTL は実世界のフェデレーテッドデータセット（Human Activity、Google Glass、Vehicle Sensor）でグローバルおよびローカルのベースラインを大幅に上回る。
• Mocha は高い通信コストと統計的ヘテロジニティに対して頑健であり、ストラグラーの状況で CoCoA を上回る。
• Mocha はノードのドロップアウトに対応し、緩やかなストラグラー/障害の仮定下で収束性を保つ。
• 収束定理は、現実的な仮定の下、滑らかな損失と非滑らかな損失に対して有限ホライズンおよびサブ線形の収束速度を示す。
• 実証的な結果は、Mocha がネットワークのヘテロジニティに対してスケールし、ノードのドロップアウト下でも性能を維持することを示している。