[論文レビュー] Tackling Dynamics in Federated Incremental Learning with Variational Embedding Rehearsal

Tae Jin Park, Kenichi Kumatani+1 more|arXiv (Cornell University)|Oct 19, 2021

Privacy-Preserving Technologies in Data参考文献 22被引用数 8

ひとこと要約

本稿では、動的フェデレーテッド・ラーニング環境における災難的忘却を軽減するとともに、クライアントのデータプライバシーを保護するため、深層変分埋め込みを用いる新しいフレームワークであるFederated Incremental Learning with Variational Embedding Rehearsal (FIL-VER) を提案する。サーバー側でクライアントが学習した埋め込みを再現し、クライアント参加の変化を動的に処理することで、FIL-VERはドメインインクリメンタルラーニングの状況において、オフライン学習と同等のパフォーマンスを達成する。

ABSTRACT

Federated Learning is a fast growing area of ML where the training datasets are extremely distributed, all while dynamically changing over time. Models need to be trained on clients' devices without any guarantees for either homogeneity or stationarity of the local private data. The need for continual training has also risen, due to the ever-increasing production of in-task data. However, pursuing both directions at the same time is challenging, since client data privacy is a major constraint, especially for rehearsal methods. Herein, we propose a novel algorithm to address the incremental learning process in an FL scenario, based on realistic client enrollment scenarios where clients can drop in or out dynamically. We first propose using deep Variational Embeddings that secure the privacy of the client data. Second, we propose a server-side training method that enables a model to rehearse the previously learnt knowledge. Finally, we investigate the performance of federated incremental learning in dynamic client enrollment scenarios. The proposed method shows parity with offline training on domain-incremental learning, addressing challenges in both the dynamic enrollment of clients and the domain shifting of client data.

研究の動機と目的

• 非定常的かつ非i.i.d.なデータ分布と動的なクライアント参加下におけるフェデレーテッドラーニングにおける災難的忘却を解消すること。
• 再現のための原始データの代わりに変分埋め込みを用いることで、クライアントのデータプライバシーを保護すること。
• クライアントが提供する埋め込みを用いたサーバー側学習（SST）により、効果的な知識保持を実現すること。
• クライアント参加のダイナミクス（増加、減少、散在的参加など）の変化に耐える、手法のロバストネスを評価すること。
• プライバシー制約およびデータ分布制約のもとでも、ドメインインクリメンタルラーニングにおいてオフライン学習と同等のパフォーマンスを達成すること。

提案手法

• 本手法は、クライアントデータから潜在表現を学習するための変分埋め込みエンコーダー（VEE）を採用し、埋め込みを原始入力から分離することでプライバシーを確保する。
• クライアント側のモデルは局所データで学習を行い、変分埋め込みを生成する。これらの埋め込みはサンプリングされ、サーバーに送信され、再現のために使用される。
• 独自のサーバー側学習（SST）メカニズムにより、原始クライアントデータにアクセスせずに、クライアントが提供する埋め込みをサーバーで再現することで、忘却を防ぐ。
• 埋め込みの再現をフェデレーテッドラーニングと統合し、過去のタスクのパフォーマンスを維持しながら、新しいデータストリームへの継続的適応を可能にする。
• 本手法は、クライアント参加の4つの動的状況（安定、減少、増加、散在的参加）の下で評価される。
• 送信中に埋め込みにノイズを追加することで、元のデータの再構築をさらに困難にし、プライバシー保証を強化する。

実験結果

リサーチクエスチョン

• RQ1 クライアントが動的に参加・退出する状況下で、フェデレーテッドインクリメンタルラーニングにおける災難的忘却をどのように軽減できるか。
• RQ2 変分埋め込みは、フェデレーテッドラーニングにおける効果的な知識再現を可能にしつつ、プライバシーを効果的に保護できるか。
• RQ3 クライアントのみによる再現と比較して、クライアントが提供する埋め込みを用いたサーバー側学習（SST）は、モデルパフォーマンスをどの程度向上させるか。
• RQ4 クライアント参加の減少や散在的参加といった変化する参加ダイナミクス下で、システムの性能はどの程度か。
• RQ5 提案手法は、ドメインインクリメンタルラーニング環境において、オフライン学習と同等のパフォーマンスを達成できるか。

主な発見

• 提案されたFIL-VERフレームワークは、クライアント参加が動的であっても、ドメインインクリメンタルラーニングにおいてオフライン学習と同等のパフォーマンスを達成する。
• サーバー側学習（SST）は、特に散在的または参加クライアント数が少ない状況で、精度を顕著に向上させる。
• 1クライアントしか参加しないタスクに対しても、バリデーション精度を高い水準で維持でき、スパースデータに対するロバストネスを示す。
• VERベースの手法（変分埋め込みを用いる）は、高いパフォーマンスとプライバシー保証を達成し、原始埋め込みを送信するベースライン手法を上回る。
• すべてのシナリオにおける平均精度は安定的かつ競争力を持って維持され、クライアントのダイナミクスの変化にもかかわらず、顕著な性能低下は見られない。
• 本フレームワークは、特にクライアント数が減少するような困難な状況でも、災難的忘却を効果的に軽減する。SSTのおかげで、性能低下が最小限に抑えられる。