[論文レビュー] Addressing Client Drift in Federated Continual Learning with Adaptive Optimization

Yeshwanth Venkatesha, Youngeun Kim+3 more|arXiv (Cornell University)|Mar 24, 2022

Wireless Networks and Protocols被引用数 5

ひとこと要約

本稿では、クライアントが異なる順序でタスクを学習するためのモデルの分散が生じる、フェデレーテッド連続的学習（FCL）におけるクライアントドリフトを軽減するため、適応的フェデレーテッド最適化（FedOpt）を提案する。NetTailorを用いた連続的学習とFedAdamを用いた適応的最適化により、CIFAR100（10タスク、5クライアント）でクライアントドリフトを4.92%低減し、平均精度を2.45%向上した。

ABSTRACT

Federated learning has been extensively studied and is the prevalent method for privacy-preserving distributed learning in edge devices. Correspondingly, continual learning is an emerging field targeted towards learning multiple tasks sequentially. However, there is little attention towards additional challenges emerging when federated aggregation is performed in a continual learning system. We identify extit{client drift} as one of the key weaknesses that arise when vanilla federated averaging is applied in such a system, especially since each client can independently have different order of tasks. We outline a framework for performing Federated Continual Learning (FCL) by using NetTailor as a candidate continual learning approach and show the extent of the problem of client drift. We show that adaptive federated optimization can reduce the adverse impact of client drift and showcase its effectiveness on CIFAR100, MiniImagenet, and Decathlon benchmarks. Further, we provide an empirical analysis highlighting the interplay between different hyperparameters such as client and server learning rates, the number of local training iterations, and communication rounds. Finally, we evaluate our framework on useful characteristics of federated learning systems such as scalability, robustness to the skewness in clients' data distribution, and stragglers.

研究の動機と目的

• クライアントが非一様なタスク順序で学習する状況において、フェデレーテッド連続的学習（FCL）におけるクライアントドリフトを中央的な課題として特定すること。
• NetTailorを用いた連続的学習フレームワークを用いて、FCLシステムにおけるクライアントドリフトの程度を評価すること。
• 適応的フェデレーテッド最適化（例：FedAdam）がクライアントドリフトを低減し、モデル安定性を向上させる有効性を調査すること。
• クライアント学習率、サーバー学習率、ローカルエポック数、通信ラウンド数といった主要なハイパーパrameterがシステム性能に与える影響を分析すること。
• 非IIDデータ、スローガー（遅延クライアント）、クライアント数の増加に伴うスケーラビリティといった実世界の課題に対するシステムの耐性を評価すること。

提案手法

• 災害的忘却とクライアントドリフトの影響を分離するために、タスク固有のモジュールを備えた動的アーキテクチャ手法であるNetTailorを採用する。
• クライアントのタスク順序に応じたモデル更新の安定化を図るため、FedAdam（適応的フェデレーテッド最適化）を適用する。
• クライアントおよびサーバー両レベルで適応的学習率を用いたフェデレーテッド平均化を実装し、モデルの方向の分散を低減する。
• ローカル勾配統計に基づいて調整されるクライアントレベルの学習率スケジューリングを導入し、収束安定性を向上させる。
• 通信ラウンド、ローカルエポック、学習率設定の変更を対象としたアブレーションスタディを実施し、トレードオフを分析する。
• 非IIDデータ（ディリクレ分布を用いて）、スローガー行動、クライアント数の増加に伴うスケーラビリティの観点から、システムの耐性を評価する。

実験結果

リサーチクエスチョン

• RQ1 クライアントが異なる順序でタスクを学習するフェデレーテッド連続的学習において、クライアントドリフトはどのように発生するか？
• RQ2 標準的なFedAvgと比較して、適応的フェデレーテッド最適化（例：FedAdam）はクライアントドリフトをどの程度低減できるか？
• RQ3 クライアント学習率、サーバー学習率、ローカルエポック数、通信ラウンド数といったハイパーパrameterは、モデル性能とドリフトにどのように影響するか？
• RQ4 大規模FCLシステムにおいて、非IIDデータ分布とスローガークライアントに対して、提案フレームワークはどの程度耐性を示すか？
• RQ5 クライアント数の増加に伴い、フレームワークのスケーラビリティの限界は何か？

主な発見

• FedAdamを用いた適応的フェデレーテッド最適化により、CIFAR100（10タスク、5クライアント）でFedAvgと比較してクライアントドリフトが4.92%低減し、平均精度が2.45%向上した。
• 通信ラウンド数の増加は、累積的なモデル分散に起因してクライアントドリフトを増大させ、最終的な精度を低下させる。
• 低いサーバー学習率はモデル安定性を向上させ、クライアントドリフトを低減するが、あまりに低い値は収束を遅くし、最終精度を低下させる。
• クライアント学習率を0.05まで引き上げることで性能が向上するが、0.10に達すると学習の不安定化と性能低下が生じる。
• スローガーに対してもシステムは耐性を示し、クライアントの通信不能確率が上昇しても性能低下は2%未満にとどまる。
• 非IIDデータ分布において、ディリクレ分布のαが低い（偏りが高い）ほど、クライアントドリフトが顕著に増大し、精度およびバックワード転送（$BWT_f$）が低下する。