[論文レビュー] No One Left Behind: Real-World Federated Class-Incremental Learning

Jiahua Dong, Li, Hongliu+4 more|arXiv (Cornell University)|Feb 2, 2023

Domain Adaptation and Few-Shot Learning被引用数 1

ひとこと要約

本稿では、新しいクラスが段階的に到着し、新しいクライアントが不規則に参加する現実世界の設定において、崩壊的忘却を緩和するための局所的・グローバル的忘却防止（LGA）モデルを提案する。局所的忘却を軽減するために、カテゴリバランスの取れた勾配適応補正損失と、カテゴリ勾配誘導型の意味的 distillation 損失を組み合わせ、グローバルモデルの選択には自己教師付きプロトタイプ増強を用いたプロキシサーバーを採用し、CIFAR-100 で T=10 タスクの条件下で 73.5% の平均精度を達成し、最先端の性能を実現した。

ABSTRACT

Federated learning (FL) is a hot collaborative training framework via aggregating model parameters of decentralized local clients. However, most FL methods unreasonably assume data categories of FL framework are known and fixed in advance. Moreover, some new local clients that collect novel categories unseen by other clients may be introduced to FL training irregularly. These issues render global model to undergo catastrophic forgetting on old categories, when local clients receive new categories consecutively under limited memory of storing old categories. To tackle the above issues, we propose a novel Local-Global Anti-forgetting (LGA) model. It ensures no local clients are left behind as they learn new classes continually, by addressing local and global catastrophic forgetting. Specifically, considering tackling class imbalance of local client to surmount local forgetting, we develop a category-balanced gradient-adaptive compensation loss and a category gradient-induced semantic distillation loss. They can balance heterogeneous forgetting speeds of hard-to-forget and easy-to-forget old categories, while ensure consistent class-relations within different tasks. Moreover, a proxy server is designed to tackle global forgetting caused by Non-IID class imbalance between different clients. It augments perturbed prototype images of new categories collected from local clients via self-supervised prototype augmentation, thus improving robustness to choose the best old global model for local-side semantic distillation loss. Experiments on representative datasets verify superior performance of our model against comparison methods. The code is available at https://github.com/JiahuaDong/LGA.

研究の動機と目的

• 新しいクラスが段階的に到着し、新しいクライアントが不規則に参加する状況におけるフェデレーテッドラーニングにおける崩壊的忘却を解消すること。
• 局所クライアントのデータストリームにおけるクラスの不均衡が引き起こす局所的忘却を克服すること。
• クライアント間で非IID（非同一分布）のクラス分布が存在する場合のグローバルな忘却を緩和すること。
• 分散型クライアント間での協調学習を可能にしつつ、プライバシーを保護すること。
• メモリ制約とデータ制約のもとで、継続的学習においていかなる局所クライアントも取り残されないことを保証すること。

提案手法

• 古いカテゴリの学習速度の不均一さを補償するため、カテゴリバランスの取れた勾配適応補正損失を提案し、クラスの難易度に応じて勾配を動的に調整することで、異種の忘却速度のバランスを取る。
• 勾配情報を利用することで、タスク間で一貫したクラス関係を維持するため、カテゴリ勾配誘導型の意味的 distillation 損失を導入する。
• 新しいカテゴリのプロトタイプ画像を自己教師付きプロトタイプ増強を用いて再構築するプロキシサーバーを設計する。
• プロトタイプ勾配通信を用いることで、プライバシーを保護しつつ、プロキシサーバーが最適な旧グローバルモデルを distillation 用に選択できるようにする。
• 局所クライアントにエグジンプラメモリを導入し、古いカテゴリの代表的サンプルを保存することで、局所的忘却を低減する。
• 局所的およびグローバルな忘却防止メカニズムを統合し、古くも新しいカテゴリの両方のパフォーマンスを向上させる。

実験結果

リサーチクエスチョン

• RQ1 クラスの不均衡なデータ分布を持つ状況で、局所クライアントはどのようにして新しいクラスを学習する際に崩壊的忘却を回避できるか？
• RQ2 新しいカテゴリを持つクライアントがフェデレーテッドラーニングシステムに参加する際、非IIDなクラス分布にさらされたグローバルモデルがどのようにして頑健性を保てるか？
• RQ3 生データを露呈させず、勾配ベースのプロトタイプ情報のみを用いて、プロキシサーバーが最適な旧グローバルモデルを効果的に選択できるか？
• RQ4 LGA モデルは、タスク順序が異なる多数の段階的タスクにおいて、どの程度の性能を維持できるか？
• RQ5 提案手法は、既存の FCIL ベースラインと比較して、精度と忘却軽減の観点でどの程度優れているか？

主な発見

• LGA モデルは、T=10 の段階的タスク条件下で CIFAR-100 で 73.5% の平均精度を達成し、ベースラインの GLFC よりも 6.6 パcentポイント高い性能を示した。
• 異なるタスク順序においても一貫したパフォーマンス（73.0–73.5% の精度）を維持しており、タスク順序の変動に対して頑健であることが示された。
• T=20 タスクの条件下ではわずかに性能が低下（70.6% の精度）したが、依然として GLFC より平均で 4.1 パcentポイント高い結果を示した。
• 収束解析から、10 エポック以内に安定した学習パフォーマンスが得られ、効率的でモデルの安定性が確認された。
• プロキシサーバーの自己教師付きプロトタイプ増強により、効果的なグローバルモデル選択が可能となり、グローバルな忘却防止が向上した。
• カテゴリバランス損失と勾配誘導型 distillation 損失が併用されることで、不均一な忘却速度の補償とクラス関係の維持が可能となり、忘却が共同で軽減された。