[論文レビュー] Adaptive Federated Dropout: Improving Communication Efficiency and Generalization for Federated Learning

Nader Bouacida, Jiahui Hou+2 more|arXiv (Cornell University)|Nov 8, 2020

Privacy-Preserving Technologies in Data参考文献 26被引用数 9

ひとこと要約

本稿では、活性化スコアに基づいて局所学習用のサブモデルを動的に選択することで、通信コストと計算コストの両方を低減する、通信効率の高いフェデレーテッドラーニング手法である Adaptive Federated Dropout (AFD) を提案する。AFD は、最先端の手法と比較して収束時間に最大 57 倍の高速化を達成し、一般化性能を 1.7% 向上させる。

ABSTRACT

With more regulations tackling users' privacy-sensitive data protection in recent years, access to such data has become increasingly restricted and controversial. To exploit the wealth of data generated and located at distributed entities such as mobile phones, a revolutionary decentralized machine learning setting, known as Federated Learning, enables multiple clients located at different geographical locations to collaboratively learn a machine learning model while keeping all their data on-device. However, the scale and decentralization of federated learning present new challenges. Communication between the clients and the server is considered a main bottleneck in the convergence time of federated learning. In this paper, we propose and study Adaptive Federated Dropout (AFD), a novel technique to reduce the communication costs associated with federated learning. It optimizes both server-client communications and computation costs by allowing clients to train locally on a selected subset of the global model. We empirically show that this strategy, combined with existing compression methods, collectively provides up to 57x reduction in convergence time. It also outperforms the state-of-the-art solutions for communication efficiency. Furthermore, it improves model generalization by up to 1.7%.

研究の動機と目的

• 遅延や不安定なクライアント接続による大規模なモデル更新が引き起こすフェデレーテッドラーニングにおける通信ボトル neck を解消すること。
• モデル性能に影響を与えることなく、フェデレーテッドラーニングにおける通信および計算のオーバーヘッドを低減すること。
• 各ラウンドごとにクライントがモデル重みの部分集合のみを学習することで、データ転送量を最小限に抑えつつモデル一般化性能を向上させること。
• 非独立同分布（non-IID）データ環境下における収束速度と耐障害性に与える動的サブモデル選択の影響を調査すること。
• 既存の圧縮技術（例：DGC）と AFD を組み合わせることで、さらなる効率向上が達成できるかどうかを評価すること。

提案手法

• AFD は、クライントの勾配または損失から導出される活性化スコアマップに基づいて、グローバルモデル重みのサブセットを動的に選択して局所学習に使用する。
• 活性化スコアマップは、各ラウンドで選択されたクライントからの平均損失を用いて更新され、影響度の高いパラメータの選択が適応的に行われる。
• クライアントは選択されたサブモデルのみを学習・更新し、サーバーに送信するモデル更新のサイズを削減する。
• サーバーはこれらの部分的更新を統合してグローバルモデルを更新し、クライアント間での一貫性を維持する。
• 通信オーバーヘッドのさらなる低減を図るため、AFD はモデル圧縮（例：DGC）と組み合わせられる。
• 単一モデル AFD というバリエーションが導入され、クライアントごとのマップではなく、1つの共有活性化マップを用いるが、非 IID 環境では性能が劣る。

実験結果

リサーチクエスチョン

• RQ1 活性化スコアを用いた動的サブモデル選択は、フェデレーテッドラーニングにおける通信効率と収束速度にどのように影響するか？
• RQ2 AFD はモデル精度や一般化性能を損なうことなく通信コストを低減できるか？
• RQ3 AFD は、Federated Dropout や DGC といった既存手法と比較して、収束時間と精度の面でどのように異なるか？
• RQ4 特に非 IID データ環境下において、クライント参加率が AFD の性能に与える影響は何か？
• RQ5 単一モデル AFD における共有活性化マップの使用は、異種データ環境下でも性能を維持できるか？

主な発見

• AFD はベースラインフェデレーテッドラーニングと比較して、収束時間に最大 57 倍の高速化を達成し、最先端手法と比較しても最大 13 倍の高速化を実現した。
• FEMNIST データセットでは、AFD + DGC が 58.1 分で 86.2% の精度に到達し、ベースラインと比較して 53 倍の高速化を達成した。
• Shakespeare データセットでは、AFD + DGC が 12.4 分で 53.7% の精度に到達し、ベースラインと比較して 57 倍の高速化を達成した。
• Sentiment140 データセットでは、AFD + DGC が 52.6 分で 85.3% の精度に到達し、ベースラインと比較して 55 倍の高速化を達成した。
• AFD はベースラインおよび最先端手法と比較して、モデル一般化性能を最大 1.7% 向上させた。
• 非 IID 環境下では、単一モデル AFD は異種クライアント間での平均損失計算が不安定であるため、一般化性能が著しく劣化した。