[論文レビュー] A Survey on Federated Unlearning: Challenges, Methods, and Future Directions

Ziyao Liu, Yu Jiang+5 more|arXiv (Cornell University)|Oct 31, 2023

Privacy-Preserving Technologies in Data被引用数 7

ひとこと要約

本サーベイは、フェデレーテッドアンリーニング（FU）の包括的な分析を提供し、モデルの一貫性、アンリーニング効率、プライバシー保護、および認証済み削除といったコアな課題を概説している。既存の手法、最適化、今後の研究方向性を評価する。統一されたFUワークフローと分類法を導入し、暗号的手法による検証、クライアントダイナミクスへの配慮、ドメイン特化応用を強調している。

ABSTRACT

In recent years, the notion of ``the right to be forgotten" (RTBF) has become a crucial aspect of data privacy for digital trust and AI safety, requiring the provision of mechanisms that support the removal of personal data of individuals upon their requests. Consequently, machine unlearning (MU) has gained considerable attention which allows an ML model to selectively eliminate identifiable information. Evolving from MU, federated unlearning (FU) has emerged to confront the challenge of data erasure within federated learning (FL) settings, which empowers the FL model to unlearn an FL client or identifiable information pertaining to the client. Nevertheless, the distinctive attributes of federated learning introduce specific challenges for FU techniques. These challenges necessitate a tailored design when developing FU algorithms. While various concepts and numerous federated unlearning schemes exist in this field, the unified workflow and tailored design of FU are not yet well understood. Therefore, this comprehensive survey delves into the techniques and methodologies in FU providing an overview of fundamental concepts and principles, evaluating existing federated unlearning algorithms, and reviewing optimizations tailored to federated learning. Additionally, it discusses practical applications and assesses their limitations. Finally, it outlines promising directions for future research.

研究の動機と目的

• フェデレーテッドラーニング（FL）におけるデータプライバシーの増大するニーズに対応し、リクエストに応じてクライアントのデータやモデルへの影響を削除可能にする。
• フェデレーテッドアンリーニングに特有の主な課題、すなわちアンリーニング効率、プライバシー保護、および認証済み削除を特定・分析する。
• アンリーナーの身元とアンリーニング対象に基づいて、既存のフェデレーテッドアンリーニング技術を分類するための統一されたワークフローと分類法を提供する。
• 現在のFU手法の限界を評価し、公平性、説明可能性、動的クライアント管理における重要な研究ギャップを強調する。
• 大規模言語モデル（LLMs）、レコメンデーションシステム、グラフニューラルネットワークにおけるFUのドメイン特化応用を検討し、今後の研究の機会を同定する。

提案手法

• 中央サーバー、残存クライアント、およびアンリーニング対象のクライアントの間の相互作用をモデル化する統一されたフェデレーテッドアンリーニングワークフローを提案する。
• 誰がアンリーニングを開始するか（例：クライアント、サーバー）と、何がアンリーニング対象か（完全なクライアントまたは部分的データ）に基づく、新たなFU技術の分類法を導入する。
• 認証済みアンリーニング検証のための暗号技術（例：ゼロ知識証明（ZKPs）、信頼実行環境（TEEs））をレビューする。
• データの削除を損なわずにモデル性能を保つために、非侵襲的マーキング方式と検証メカニズムを分析する。
• 通信効率の良いアンリーニングや、動的クライアント参加に耐性のある最適化を、FLに特化して検討する。
• プライバシー保護技術（例：PPTs）を動的で分散型のFL環境におけるアンリーニングと統合する評価を行う。

実験結果

リサーチクエスチョン

• RQ1 データ削除後に再訓練と同等のモデル一貫性を達成するには、フェデレーテッドアンリーニングをどのように実現できるか？
• RQ2 通信コストと計算コストを最小限に抑える中で、アンリーニング効率を確保するメカニズムは何か？
• RQ3 サーバーや他のクライアントにローカルクライアントデータを露呈させることなく、アンリーニング中にプライバシーをどのように保護できるか？
• RQ4 信頼できないFL環境において、データまたはクライアントの影響を検証可能で認証済みに削除するための暗号的またはハードウェアベースのソリューションは何か？
• RQ5 動的クライアント環境および大規模言語モデル（LLMs）やGNNsなどのドメイン特化応用に、フェデレーテッドアンリーニングをどのように適合できるか？

主な発見

• フェデレーテッドアンリーニングは、モデルの一貫性、アンリーニング効率、プライバシー保護、および認証済み削除のバランスを取ることで有効である。
• ナーブな再訓練はFLでは計算的に非現実的であるため、実用的導入には効率的なアンリーニングアルゴリズムが不可欠である。
• ゼロ知識証明（ZKPs）や信頼実行環境（TEEs）といった暗号的手法は、信頼制約のある環境における認証済みアンリーニングに強力な保証を提供する。
• データ操作による性能劣化を回避するため、マーキングと検証を組み合わせた非侵襲的検証メカニズムが不可欠である。
• クライアントのダイナミクス（離脱、参加、重複データなど）は顕著な非決定的要因をもたらし、クライアントダイナミクスに配慮したFUアルゴリズムの導入が求められる。
• 大規模言語モデル（LLMs）、レコメンデーションシステム、グラフニューラルネットワークにおけるドメイン特化応用は有望であるが、フェデレーテッドアンリーニングの文脈ではまだ十分に検討されていない。