[論文レビュー] Federated Learning with Additional Mechanisms on Clients to Reduce Communication Costs

Xin Yao, Tianchi Huang+3 more|arXiv (Cornell University)|Aug 16, 2019

Privacy-Preserving Technologies in Data参考文献 23被引用数 31

ひとこと要約

本稿では、クライアントに追加のメカニズムを導入することで、通信効率の高いフェデレーテッドラーニング手法であるFedMMDおよびFedFusionを提案する。FedMMDは、最大平均差分（MMD）制約を用いた二重スレッドモデルを採用し、ローカル表現とグローバル表現を整合化することで、非IID設定下で通信ラウンドを20%以上削減する。FedFusionは、学習可能な演算子を用いてローカルモデルとグローバルモデルの特徴を統合し、通信ラウンドを60%以上削減するとともに、新規クライアントの収束速度を向上させ、精度と一般化性能を向上させる。

ABSTRACT

Federated learning (FL) enables on-device training over distributed networks consisting of a massive amount of modern smart devices, such as smartphones and IoT (Internet of Things) devices. However, the leading optimization algorithm in such settings, i.e., federated averaging (FedAvg), suffers from heavy communication costs and the inevitable performance drop, especially when the local data is distributed in a non-IID way. To alleviate this problem, we propose two potential solutions by introducing additional mechanisms to the on-device training. The first (FedMMD) is adopting a two-stream model with the MMD (Maximum Mean Discrepancy) constraint instead of a single model in vanilla FedAvg to be trained on devices. Experiments show that the proposed method outperforms baselines, especially in non-IID FL settings, with a reduction of more than 20% in required communication rounds. The second is FL with feature fusion (FedFusion). By aggregating the features from both the local and global models, we achieve higher accuracy at fewer communication costs. Furthermore, the feature fusion modules offer better initialization for newly incoming clients and thus speed up the process of convergence. Experiments in popular FL scenarios show that our FedFusion outperforms baselines in both accuracy and generalization ability while reducing the number of required communication rounds by more than 60%.

研究の動機と目的

• 非IIDデータ分布下におけるフェデレーテッドラーニングにおける高い通信コストと性能低下を解決すること。
• 精度を損なわずにモデル収束に必要な通信ラウンド数を削減すること。
• フェデレーテッドラーニングシステムにおける新規参加クライアントのモデル一般化性能と収束速度を向上させること。
• ローカルモデルとグローバルモデル間の知識移譲を強化するクライアント内メカニズムを導入すること。
• 現実的な非IIDフェデレーテッドラーニングシナリオにおける特徴統合とMMDベースの整合化の有効性を評価すること。

提案手法

• 代表的表現学習を向上させるために、FedAvgの単一モデルをローカルブランチとグローバルブランチからなる二重スレッドモデルに置き換える。
• クライアント内での学習中に最大平均差分（MMD）損失を適用し、ローカルモデルとグローバルモデルの特徴分布を整合化する。
• 特徴抽出後に、ローカルモデルとグローバルモデルの両方の特徴を統合するための特徴統合モジュールを導入し、学習可能な重みを備える。
• 異なる統合演算子（単一、マルチ、畳み込み型）を用いて、クライアントデータに応じて関連する特徴を動的に選択・統合する。
• 主モデルとともにエンドツーエンドで統合モジュールを学習させ、クライアントがグローバル知識とローカル知識を適応的に統合する方法を学習可能にする。
• 人工的およびユーザー固有の非IIDデータパーティショニングを用いた標準的なフェデレーテッドラーニングベンチマークで、性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 MMD制約を備えた二重スレッドモデルは、性能を損なわずに非IIDフェデレーテッドラーニングにおける通信ラウンド数を削減できるか？
• RQ2 ローカルモデルとグローバルモデル間の特徴統合は、フェデレーテッドラーニングにおける収束速度と通信効率にどのように影響するか？
• RQ3 提案されたメカニズムは、フェデレーテッドラーニングにおける新規参加クライアントの一般化性能をどの程度向上させるか？
• RQ4 単一、マルチ、畳み込み型のどの統合演算子が、精度と通信コストの間で最良のトレードオフを提供するか？
• RQ5 現実的な非IIDデータ分布下で、提案手法はFedAvgに比べて最終的な精度と収束速度において優れているか？

主な発見

• FedMMDは、非IIDフェデレーテッドラーニング設定下で、テスト精度を維持したまま通信ラウンド数を20%以上削減した。
• 畳み込み型統合演算子を用いたFedFusionは、94%の精度に到達するまでの通信ラウンドを66.0%削減し、95%の精度に到達するまでの通信ラウンドを64.1%削減した。
• マルチ型統合演算子を用いたFedFusionは、94%の精度で通信ラウンドを22.0%削減し、95%の精度で21.5%削減し、一貫した改善を示した。
• 特徴統合メカニズムにより、新規参加クライアントの初期化が向上し、収束プロセスが著しく高速化された。
• ユーザー固有の非IIDパーティショニングでは、畳み込み型統合演算子が他のものよりも優れた性能を発揮し、実世界のフェデレーテッドラーニングシナリオに近い。
• 単一型統合演算子は最小の改善しかもたらさず、実用的導入には推奨されない。