[論文レビュー] Fast-FedUL: A Training-Free Federated Unlearning with Provable Skew Resilience

Thanh Trung Huynh, Trong Bang Nguyen+5 more|arXiv (Cornell University)|May 28, 2024

Brain Tumor Detection and Classification被引用数 4

ひとこと要約

Fast-FedUL は、履歴勾配を解析的に逆転させることで、再訓練を必要とせず、特定クライントの影響をグローバル FL モデルから除去するトレーニングフリーのフェデレーテッドアンリーニング手法であり、証明可能なスケュー耐性を達成する。再訓練と比較してアンリーニング時間を 1000 倍短縮するとともに、0.01% の成功率でバックドア攻撃を排除し、メインタスクの精度を 98% 維持する。

ABSTRACT

Federated learning (FL) has recently emerged as a compelling machine learning paradigm, prioritizing the protection of privacy for training data. The increasing demand to address issues such as ``the right to be forgotten'' and combat data poisoning attacks highlights the importance of techniques, known as extit{unlearning}, which facilitate the removal of specific training data from trained FL models. Despite numerous unlearning methods proposed for centralized learning, they often prove inapplicable to FL due to fundamental differences in the operation of the two learning paradigms. Consequently, unlearning in FL remains in its early stages, presenting several challenges. Many existing unlearning solutions in FL require a costly retraining process, which can be burdensome for clients. Moreover, these methods are primarily validated through experiments, lacking theoretical assurances. In this study, we introduce Fast-FedUL, a tailored unlearning method for FL, which eliminates the need for retraining entirely. Through meticulous analysis of the target client's influence on the global model in each round, we develop an algorithm to systematically remove the impact of the target client from the trained model. In addition to presenting empirical findings, we offer a theoretical analysis delineating the upper bound of our unlearned model and the exact retrained model (the one obtained through retraining using untargeted clients). Experimental results with backdoor attack scenarios indicate that Fast-FedUL effectively removes almost all traces of the target client, while retaining the knowledge of untargeted clients (obtaining a high accuracy of up to 98\% on the main task). Significantly, Fast-FedUL attains the lowest time complexity, providing a speed that is 1000 times faster than retraining. Our source code is publicly available at \url{https://github.com/thanhtrunghuynh93/fastFedUL}.

研究の動機と目的

• 再訓練を必要とせず、クライント固有のデータを削除できる、効率的で再訓練フリーなフェデレーテッドアンリーニング手法の不足を解消すること。
• 再訓練が高コストであるか、理論的保証がないという既存のアンリーニング手法の限界を克服すること。
• 非 IID データ環境下での勾配逆転によって生じるスケューを軽減することで、アンリーニング後のモデルの有用性を維持すること。
• アンリーニングモデルと再訓練モデルとの乖離に理論的境界を設けることで、信頼性を保証すること。
• 必要な履歴更新のみを選択することで、ストレージと計算コストを最適化し、メモリオーバーヘッドを削減すること。

提案手法

• 再訓練を必要とせず、特定クライントの履歴更新がグローバルモデルに与える影響を体系的に除去する勾配逆転メカニズムを提案する。
• 重要度に基づいて更新を優先するクライントのサンプリング戦略を導入し、ストレージと計算コストを最小限に抑える。
• 勾配逆転によって生じるモデルスケューを理論的に境界化する枠組みを構築し、正確な有用性回復を可能にする。
• アンリーニングモデルと再訓練モデルとの類似度を角度ベースのパrameter 離散度分析で定量化し、耐障害性を確保する。
• 複数ラウンドにわたってスケューを蓄積するスケュー耐性推定技術を採用し、アンリーニング後のモデル有用性を回復する。
• 明示的な distillation ステップを回避するため、スケューに配慮した勾配補正を通じて知識蒸留の原則を暗黙的に適用する。

実験結果

リサーチクエスチョン

• RQ1 トレーニングを必要とせず、再訓練なしにクライントの影響を除去しつつ、汚染されていないクライントにおけるモデル有用性を維持できるフェデレーテッドアンリーニング手法は可能か？
• RQ2 非 IID データ環境下で、勾配逆転によって生じるスケューを理論的に境界化し、緩和できるか？
• RQ3 クライントのサンプリング戦略がアンリーニング効率とモデル精度に与える影響は何か？
• RQ4 再訓練と比較して、提案手法はアンリーニング効果とバックドア対策の両面で優れているか？
• RQ5 トレーニングフリーのアプローチは、フェデレーテッド学習において高いアンリーニング精度と低い計算コストを両立できるか？

主な発見

• Fast-FedUL は、アンリーニングモデルにおけるバックドア攻撃の成功率をわずか 0.01% にまで低下させ、悪意あるパターンを効果的に排除した。
• 汚染されていないクライントにおいて、メインタスクの精度を最大 98% 維持し、強力な知識保持性を示した。
• Fast-FedUL は、再訓練と比較してアンリーニング時間を 1000 倍短縮し、実世界への展開に適した高い効率性を達成した。
• 理論的分析により、アンリーニングモデルが再訓練モデルとの間に証明可能な境界内に保たれることを確認し、信頼性を裏付けた。
• アブレーションスタディの結果、ランダムサンプリングとスケュー緩和の欠如により、性能が最大 17% 側面することが判明し、提案手法の各構成要素の必要性を裏付けた。
• 定性的分析により、Fast-FedUL のモデルパラメータは再訓練モデルと 10° 以内の角度偏差に収束しており、集中分布を示しており、高い忠実度を示した。