[論文レビュー] Federated Unlearning with Knowledge Distillation

Wu Chen, Sencun Zhu+1 more|arXiv (Cornell University)|Jan 24, 2022

Privacy-Preserving Technologies in Data被引用数 34

ひとこと要約

この論文は、ターゲットクライアントの歴史的アップデートを最終モデルから差し引くことでサーバーサイドのフェデレーテッドアンラーニングを実現し、知識蒸留を用いてクライアントデータなしで性能を回復する手法を提案する。評価はバックドア攻撃を用いて行われる。

ABSTRACT

Federated Learning (FL) is designed to protect the data privacy of each client during the training process by transmitting only models instead of the original data. However, the trained model may memorize certain information about the training data. With the recent legislation on right to be forgotten, it is crucially essential for the FL model to possess the ability to forget what it has learned from each client. We propose a novel federated unlearning method to eliminate a client's contribution by subtracting the accumulated historical updates from the model and leveraging the knowledge distillation method to restore the model's performance without using any data from the clients. This method does not have any restrictions on the type of neural networks and does not rely on clients' participation, so it is practical and efficient in the FL system. We further introduce backdoor attacks in the training process to help evaluate the unlearning effect. Experiments on three canonical datasets demonstrate the effectiveness and efficiency of our method.

研究の動機と目的

• プライバシー権（例：GDPR/CCPA）を満たすためにフェデレーテッド学習でクライアントの貢献を削除する必要性を動機付ける。
• フェデレーテッドアンラーニングの定義と、逐次的・確率的FL設定での課題を定義する。
• ターゲットクライアントの履歴更新を差し引き、知識蒸留で是正するサーバーサイドのアンラーニング手法を提案する。
• 実用的な評価ツールとしてのバックドア攻撃を紹介する。

提案手法

• ターゲットクライアントの蓄積更新を最終グローバルモデルから減算してアンラーニング候補 M_F' を得る。
• 増分FL更新による歪みを epsilon 補正でモデル化し、lazy-unlearning 仮定を適用する。
• ラベルなしデータセットで知識蒸留を適用し、教師モデルとして元のグローバルモデル、学生モデルとして M_F' を用いて、ターゲットクライアントのデータを使わずに性能を回復する。
• 蒸留中の温度 T を用いたソフトラベルを用い、バックドア特徴を組み込まずに一般化を転送する。
• サーバー上で蒸留を評価して、再訓練なしの性能に近いテスト精度を回復し、バックドア攻撃の成功を抑制する。

実験結果

リサーチクエスチョン

• RQ1 スクラッチから再訓練せずに、指定クライアントの影響をフェデレーテッドモデルからどのように除去できるか？
• RQ2 サーバーサイドでの知識蒸留は、クライアントの履歴更新の減算によって生じる歪みを緩和できるか？
• RQ3 バックドア攻撃は、FLにおけるアンラーニングの有効性を評価する堅牢な評価機構を提供するか？
• RQ4 蒸留ベースのアンラーニングは、ターゲットクライアントのデータ再利用を避けることでプライバシーを保持するか？

主な発見

データセット	訓練（テスト精度、攻撃精度）	UL-Subtraction（テスト精度、攻撃精度）	UL-蒸留（テスト精度、攻撃精度）	ポスト訓練（テスト精度、攻撃精度）	再訓練（テスト精度、攻撃精度）
MNIST	98.0;99.7	52.2;0	97.7;0	98.5;0	98.2;0
CIFAR-10	80.8;99.4	10.0;0	78.8;6.4	81.4;7.3	79.5;7.0
GTSRB	93.0;100	3.9;0	92.1;0	94.0;0	92.7;0

• ターゲットクライアントの履歴更新を最終モデルから差し引くことで影響を排除し、データセット全体でバックドアの成功率をゼロに抑える。
• サーバー上の蒸留は減算後すぐにモデル精度を回復し、テスト精度は再訓練なしの性能に近づく（差は < 1%）。
• 蒸留は蒸留中にクライアントデータを使用しないため、ターゲットクライアントのバックドア属性をアンラーニングモデルへ転移しない。
• 訓練後の蒸留は、他のクライアントとの継続訓練に続けることで精度をさらに改善できる。
• 再訓練からの再学習はアンラーニングの金標準だが、提案手法ははるかに低コストで同程度の結果を達成する。