[論文レビュー] Towards Flexible Device Participation in Federated Learning for Non-IID Data.

Yichen Ruan, Xiaoxi Zhang+2 more|arXiv (Cornell University)|Jun 12, 2020

Privacy-Preserving Technologies in Data参考文献 1被引用数 12

ひとこと要約

本稿では、デバイスが断続的に参加する、更新が不完全である、または非IIDデータをもつ異種のデバイスに対しても収束を保証する柔軟なフェデレーテッドアグリゲーション方式を提案する。これらの動的状態下での収束を分析することで、厳密な参加制約を要しない現実的で分散型の環境でも頑健な学習が可能になる。

ABSTRACT

Traditional federated learning algorithms impose strict requirements on the participation rates of devices, which limit the potential reach of federated learning. In this paper, we extend the current learning paradigm and consider devices that may become inactive, compute incomplete updates, and leave or join in the middle of training. We derive analytical results to illustrate how the flexible participation of devices could affect the convergence when data is not independently and identically distributed (IID), and when devices are heterogeneous. This paper proposes a new federated aggregation scheme that converges even when devices may be inactive or return incomplete updates. We finally discuss practical research questions an operator would encounter during the training, and provide answers based on our convergence analysis.

研究の動機と目的

• 従来のフェデレーテッドラーニングが高水準で一貫したデバイス参加率を要するという制限を解消すること。
• 断続的接続、不完全な更新、動的な参加／退場といった現実のデバイス行動をモデル化すること。
• 非IIDデータおよび柔軟な参加を想定した状況下での収束特性を分析すること。
• デバイスの動的変化やデータの偏りがあってもモデルの収束を維持できる実用的なアグリゲーション方式を開発すること。

提案手法

• デバイスが非活動状態にあったり、部分的な更新を返す可能性がある状況を想定した、新しいフェデレーテッドアグリゲーションフレームワークを導入する。
• 非IIDデータおよびデバイスの異種性を考慮した状況下で、変動する参加率を想定した収束バウンドを理論的に導出する。
• 信頼性と完全性に基づいて更新を重みづけする適応的アグリゲーションメカニズムを策定し、欠損または部分的な寄与があっても対応可能にする。
• 理論的分析を用いて、柔軟なデバイス参加条件のもとでの収束保証を確立する。
• デバイスの異種性とデータの偏りを収束モデルに組み込み、現実世界の学習ダイナミクスを反映する。
• 運用者がトレーニング中におけるデバイス参加と更新品質を効果的に管理するための実用的ガイドラインを提供する。

実験結果

リサーチクエスチョン

• RQ1 断続的接続や不完全な更新といった柔軟なデバイス参加が、非IIDデータを伴うフェデレーテッドラーニングにおける収束にどのように影響するか？
• RQ2 デバイスが参加・退場したり、部分的な更新を送信したりする状況下で、どのようなアグリゲーション戦略が収束を保証するか？
• RQ3 デバイスの異種性とデータの非IID性が、柔軟な参加とどのように相互作用し、モデルの収束に影響を与えるか？
• RQ4 実際のフェデレーテッドラーニングシステムにおいて、動的デバイス参加を管理するにあたり、運用者が考慮すべき実用的側面は何か？

主な発見

• 提案されたアグリゲーション方式は、非IIDデータ分布下で、デバイスが非活動状態にあったり、不完全な更新を送信しても収束を達成する。
• 理論的分析により、動的デバイス参加およびデータの異種性があっても収束が保たれることを確認した。
• デバイスのドロップアウトや部分的更新に対して頑健であるため、実世界の展開に適している。
• 収束分析から導き出された実用的ガイドラインにより、運用者がデバイス参加と更新品質を効果的に管理できる。