[論文レビュー] Federated Continual Learning with Weighted Inter-client Transfer

Jaehong Yoon, Wonyong Jeong+3 more|arXiv (Cornell University)|Mar 6, 2020

Domain Adaptation and Few-Shot Learning参考文献 39被引用数 31

ひとこと要約

FedWeITはモデルの重みをグローバル、ベース、タスク適応部に分解し、クライアント間知識伝達を選択的に行い、疎な通信を通じてフェデレーテッド継続学習を改善する。

ABSTRACT

There has been a surge of interest in continual learning and federated learning, both of which are important in deep neural networks in real-world scenarios. Yet little research has been done regarding the scenario where each client learns on a sequence of tasks from a private local data stream. This problem of federated continual learning poses new challenges to continual learning, such as utilizing knowledge from other clients, while preventing interference from irrelevant knowledge. To resolve these issues, we propose a novel federated continual learning framework, Federated Weighted Inter-client Transfer (FedWeIT), which decomposes the network weights into global federated parameters and sparse task-specific parameters, and each client receives selective knowledge from other clients by taking a weighted combination of their task-specific parameters. FedWeIT minimizes interference between incompatible tasks, and also allows positive knowledge transfer across clients during learning. We validate our FedWeIT against existing federated learning and continual learning methods under varying degrees of task similarity across clients, and our model significantly outperforms them with a large reduction in the communication cost. Code is available at https://github.com/wyjeong/FedWeIT

研究の動機と目的

• フェデレーテッド継続学習（FCL）を動機づけ、クライアント間の無関係な知識による干渉に対処する。
• グローバル、ベース、およびタスク適応知識を分離する分解型パラメータ化を提案する。
• タスク適応パラメータに対するアテンションを介して、クライアント間の知識伝達を選択的に可能にする。
• タスク性能を維持または向上させつつ、疎性を通じて通信効率を向上させる。
• さまざまなタスク類似性の状況で優れた性能とより迅速な適応を示す。

提案手法

• 局所モデルを分解する: θ_c^(t) = B_c^(t) ⊙ m_c^(t) + A_c^(t) + sum_{i≠c} sum_{j<|t|} α_i,j^(t) A_i^(j).
• クライアント全体を横断して疎化された B_c^(t) ⊙ m_c^(t) を集約して得られる密なグローバルパラメータ θ_G を使用する。
• 他のクライアントからのタスク適応パラメータ A の、疎でアテンション重み付きの集約を通じて知識伝達を表現する。
• マスク m_c^(t) および A^(t) に対する疎性制約を課して訓練を正則化し、過去のタスク解を維持するためのレトロアクティブ更新を行う。
• 通信コストを最小化するために、疎で高影響のパラメータのみを送信する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッド継続学習は、クライアント間でタスク特有の知識を選択的に伝達することで恩恵を受けられるだろうか？
• RQ2 パラメータはどのように分解・送信すべきか、性能を維持しつつクライアント間の干渉と通信を最小化するためには？
• RQ3 アテンションベースのクライアント間転送は、多様なタスク類似性に対して適応速度と最終精度を向上させるか？
• RQ4 複数のデータセットにわたって、FedWeITとベースラインとの間で通信コストと精度のトレードオフはどのようになるか？
• RQ5 FedWeITアプローチは、より大規模なネットワークやより多くのクライアントにも効果を損なうことなくスケール可能か？

主な発見

• FedWeITはOverlapped-CIFAR-100およびNonIID-50タスクで、単一タスク継続学習およびナイーブなFCLベースラインを大幅に上回る。
• 選択的なクライアント間転送により、新規タスクへの適応が速く、忘却が少ない。
• アテンション機構は、他のクライアントから有益なタスク適応パラメータを効果的に選択する（例: 類似したデータセットを一致させる）。
• FedWeITは、非常に疎なタスク適応およびベースパラメータを送信することにより通信コストを削減し、精度を維持または向上させる。
• ResNet-18を用いた実験では、FedWeITはAPDベースラインより少ないパラメータで優れた性能を示す。
• 100クライアントに跨ると、FedWeITは強い性能向上を示し、クライアント間干渉を緩和する。