[論文レビュー] A Data-Free Approach to Mitigate Catastrophic Forgetting in Federated Class Incremental Learning for Vision Tasks

Sara Babakniya, Zalan Fabian+3 more|arXiv (Cornell University)|Nov 13, 2023

Domain Adaptation and Few-Shot Learning被引用数 8

ひとこと要約

この論文は、過去タスクのサンプルを合成するサーバーサイドのデータフリー生成器を訓練するプライバシー保護型連合継続学習フレームワーク MFCL を紹介し、クライアントが旧データを保存せずに忘却を緩和できるようにする。スケーラブルな連合継続学習を評価するための SuperImageNet も提案する。

ABSTRACT

Deep learning models often suffer from forgetting previously learned information when trained on new data. This problem is exacerbated in federated learning (FL), where the data is distributed and can change independently for each user. Many solutions are proposed to resolve this catastrophic forgetting in a centralized setting. However, they do not apply directly to FL because of its unique complexities, such as privacy concerns and resource limitations. To overcome these challenges, this paper presents a framework for $ extbf{federated class incremental learning}$ that utilizes a generative model to synthesize samples from past distributions. This data can be later exploited alongside the training data to mitigate catastrophic forgetting. To preserve privacy, the generative model is trained on the server using data-free methods at the end of each task without requesting data from clients. Moreover, our solution does not demand the users to store old data or models, which gives them the freedom to join/leave the training at any time. Additionally, we introduce SuperImageNet, a new regrouping of the ImageNet dataset specifically tailored for federated continual learning. We demonstrate significant improvements compared to existing baselines through extensive experiments on multiple datasets.

研究の動機と目的

• データプライバシーとクライアント解約の制約の下で連合クラス増分学習（Class-IL）を動機付ける。
• 実データを共有せずに過去タスクデータを合成するデータフリーのサーバー訓練生成モデルを提案する。
• 旧データやモデルを保存せずに、クライアントが新しいタスクを学習しつつ過去の知識を保持できるようにする。
• 多くのクライアントとタスクでのスケーラブル評価を可能にする SuperImageNet を導入する。

提案手法

• サーバーがデータフリーな方法で ConvNet ジェネレータ G を訓練する MFCL を提案する。モデルインversion と蒸留風の目的を使用する。
• 現在のグローバルモデル F によってラベル付けされた合成データ上のクロスエントロピー損失と、クラスカバーを奨励する多様性損失を用いて G を訓練する。
• ジェネレータの出力をグローバルモデルの BatchNorm 統計と整合させるバッチ統計損失と、自然画像の滑らかさを促進する画像 priors 損失を含める。
• クライアントは現在のタスクのヘッドのみを更新して現実データと G からの過去タスクの合成サンプルを用いたクラスILを実行する。
• 安定性-可塑性指向の損失を適用する：中間特徴量の知識蒸留（ペンultimate 特徴量のKD）と現在のタスクのみへのターゲット型クロスエントロピー、固定ディスクリミネータ風ヘッドを追加。
• 各タスクの末尾でサーバーはグローバルモデルを統合し G を訓練する。G および最新/グローバルモデルは次のタスクのクライアントと共有される。

実験結果

リサーチクエスチョン

• RQ1 データフリーでサーバー訓練された生成的リプレイは、FedClass-IL における破局的忘却をクライアントデータを公開せずに緩和できるか。
• RQ2 提案された MFCL フレームワークは、標準および大規模なベンチマークで既存の連合継続学習のベースラインと比較してどうか。
• RQ3 合成リプレイ生成器と関連損失が、タスク間の平均精度と忘却量に与える影響はどの程度か。

主な発見

• MFCL は CIFAR-100、TinyImageNet、および SuperImageNet-L で一貫してベースラインを上回り、テスト精度に最大で 25% の絶対改善を達成する。
• MFCL はベースラインと比較して最小の忘却を示し、タスク間の知識保存が向上する。
• アブレーション研究により、Batch Statistics Loss と Diversity Loss が性能に不可欠であることが示され、現在タスクの CE、FT、KD を含む全てのクライアント側損失が有効性に寄与する。
• この手法は SuperImageNet を導入し、従来の FL ベンチマークよりも多くのクライアントとタスクでの評価を可能にし、実用的なスケーラビリティを支持する。
• サーバー側のジェネレータ訓練は各タスクごとに一度実行され、クライアント訓練に比べて許容可能なオーバーヘッドを追加し、全体として精度が改善され忘却が抑制される。