[論文レビュー] DELTA: Diverse Client Sampling for Fasting Federated Learning

Lin Wang, Yongxin Guo+2 more|arXiv (Cornell University)|May 27, 2022

Privacy-Preserving Technologies in Data被引用数 8

ひとこと要約

DELTAは、収束を加速するために勾配ノルムが高く、勾配類似度が低いクライアントを選び出す、偏りのない多様なクライアントサンプリング戦略を提案する。部分的参加による分散の低減とクライアントの多様性の活用により、CIFAR-10、FashionMNIST、FEMNISTの複数のデータセットおよび最適化手法（例：Adam、Adagrad）において、FedAvg、FedIS、クラスタベースのISよりも高速な収束と高い精度を達成する。

ABSTRACT

Partial client participation has been widely adopted in Federated Learning (FL) to reduce the communication burden efficiently. However, an inadequate client sampling scheme can lead to the selection of unrepresentative subsets, resulting in significant variance in model updates and slowed convergence. Existing sampling methods are either biased or can be further optimized for faster convergence.In this paper, we present DELTA, an unbiased sampling scheme designed to alleviate these issues. DELTA characterizes the effects of client diversity and local variance, and samples representative clients with valuable information for global model updates. In addition, DELTA is a proven optimal unbiased sampling scheme that minimizes variance caused by partial client participation and outperforms other unbiased sampling schemes in terms of convergence. Furthermore, to address full-client gradient dependence,we provide a practical version of DELTA depending on the available clients' information, and also analyze its convergence. Our results are validated through experiments on both synthetic and real-world datasets.

研究の動機と目的

• 部分的参加における代表的でないクライアントサンプリングが引き起こす収束の遅さと高い分散を解消すること。
• 重要度サンプリング（IS）やクラスタベースのISといった既存の偏りのないサンプリング手法の限界を克服すること。これらの手法は、重複する更新や後段階での収束の遅さに苦しむ。
• 多様性を保証するため、高い勾配ノルムと低い勾配類似度の両方をバランスさせるサンプリング方式を設計すること。
• 完全なクライアント勾配に依存せず、利用可能なクライアント情報のみを用いて、実用的で収束保証付きのバージョンを提供すること。
• DELTAの有効性を、複数のデータセット、モデルアーキテクチャ、最適化アルゴリズム（例：Adam、Adagrad）で実証すること。

提案手法

• DELTAは、部分的クライアント参加下でのグローバルモデル更新の分散を最小化する最適化問題としてクライアントサンプリングを定式化する。
• 選択は、高い局所的勾配ノルムと、すでに選択済みのクライアントとの相関が低いことを組み合わせることで、多様性を促進する。
• 勾配の大きさと、以前に選択されたクライアントとの類似度を組み合わせた多様性を考慮したスコアを計算する貪欲な選択戦略を採用する。
• 実用的バージョンとして、FedPracDELTAを提案する。これは、利用可能なクライアント情報（例：アクティブなクライアントからの局所的勾配）にのみ依存し、完全な勾配計算を回避する。
• 理論的分析により、DELTAが分散を最小化する最適な偏りのないサンプリングスキームであることが証明され、やや弱い仮定の下で収束レートが導出される。
• DELTAはFedAvgに統合され、FedISおよびFedAvgと実験で比較される。

実験結果

リサーチクエスチョン

• RQ1 勾配ノルムと勾配多様性の両方をバランスさせたクライアントサンプリング戦略は、均一サンプリングや重要度サンプリングに比べ、収束速度と精度の面で優れているか？
• RQ2 データの非独立同分布性（non-iid）に対処し、重複更新を低減する観点で、DELTAはクラスタベースのISおよび標準的なISと比べてどのように差をつけるか？
• RQ3 完全なクライアント勾配が利用できない状況下でも、実用的バージョン（FedPracDELTA）は収束保証と性能を維持できるか？
• RQ4 異なる非i.i.d.データ分布（αで制御）におけるデータの非同一性の程度が変化しても、DELTAはどれほど頑健か？
• RQ5 DELTAは、FedVARPのような分散低減技術と効果的に組み合わせられるか？また、Adam や Adagrad といった非ヴァリアント最適化手法に対しても適応可能か？

主な発見

• 非i.i.d. MNISTでは、DELTAは252ラウンドで65%の精度に到達し、FedAvg（390ラウンド）およびFedIS（266ラウンド）を上回った。
• α=0.1のFashionMNISTでは、DELTAは436ラウンドで74.22%の精度に到達し、FedVARP（470ラウンド）およびFedIS+VARP（452ラウンド）を上回った。
• Adamを用いたCelebAでは、DELTAは109ラウンドで80%の精度に到達し、FedAvg（244ラウンド）およびFedIS（140ラウンド）を上回り、2.24倍の高速化を達成した。
• アブレーションスタディでは、α = 0.1から1.0までのさまざまなデータ非同一性レベルで、DELTAはFedISおよびFedAvgを一貫して上回り、最大0.7%の精度向上を達成した。
• FedVARPと組み合わせた場合、DELTA + FedVARPはFashionMNISTで436ラウンドで74.22%の精度に到達し、相互作用性と加法的利点を示した。
• Adamを用いたFEMNISTでは、DELTAは109ラウンドで90.58%の精度に到達し、FedAvg（244ラウンドで89.04%）およびFedIS（140ラウンドで89.92%）を顕著に上回った。