[論文レビュー] VeriFi: Towards Verifiable Federated Unlearning

Xiangshan Gao, Xingjun Ma+6 more|arXiv (Cornell University)|May 25, 2022

Privacy-Preserving Technologies in Data被引用数 15

ひとこと要約

VeriFi は、参加者が自身のデータがグローバルモデルから効果的に削除されたことを検証できる統合フレームワークを提案する。サーバーサイドでのアンリーニングと、埋め込みマーカーを用いたクライアントサイド検証を組み合わせることで、uS2U（効率的アンリーニング）とvEM（非侵襲的検証）の組み合わせが、セキュリティやモデル性能を損なわずに強固で信頼できるアンリーニングを実現することを示している。

ABSTRACT

Federated learning (FL) is a collaborative learning paradigm where participants jointly train a powerful model without sharing their private data. One desirable property for FL is the implementation of the right to be forgotten (RTBF), i.e., a leaving participant has the right to request to delete its private data from the global model. However, unlearning itself may not be enough to implement RTBF unless the unlearning effect can be independently verified, an important aspect that has been overlooked in the current literature. In this paper, we prompt the concept of verifiable federated unlearning, and propose VeriFi, a unified framework integrating federated unlearning and verification that allows systematic analysis of the unlearning and quantification of its effect, with different combinations of multiple unlearning and verification methods. In VeriFi, the leaving participant is granted the right to verify (RTV), that is, the participant notifies the server before leaving, then actively verifies the unlearning effect in the next few communication rounds. The unlearning is done at the server side immediately after receiving the leaving notification, while the verification is done locally by the leaving participant via two steps: marking (injecting carefully-designed markers to fingerprint the leaver) and checking (examining the change of the global model's performance on the markers). Based on VeriFi, we conduct the first systematic and large-scale study for verifiable federated unlearning, considering 7 unlearning methods and 5 verification methods. Particularly, we propose a more efficient and FL-friendly unlearning method, and two more effective and robust non-invasive-verification methods. We extensively evaluate VeriFi on 7 datasets and 4 types of deep learning models. Our analysis establishes important empirical understandings for more trustworthy federated unlearning.

研究の動機と目的

• フェデレーテッドラーニングにおけるアンリーニング効果の検証の重大なギャップに対処すること。既存の手法は信頼性や監査可能性に欠ける。
• フェデレーテッドアンリーニングと体系的な検証を統合する統一フレームワークを設計し、参加者が独立して検証できるようにすること。
• ホワイトボックスアクセスを必要とせず、セキュリティリスクを引き起こさない、効率的で安全かつ非侵襲的な検証メカニズムを開発すること。
• 多様なデータセットとモデルを対象とした、信頼できるフェデレーテッドアンリーニングに関する大規模な実証的調査を初めて実施すること。
• uS2U や vEM といった新規手法を含む、複数のアンリーニングおよび検証手法の評価とベンチマーク化すること。

提案手法

• フレームワークは、退会する参加者がサーバーに通知し、その後のラウンドでローカルにアンリーニングを検証できる「検証権（RTV）」メカニズムを導入する。
• マーキング段階では、退会参加者のデータに、慎重に設計された、人間には感知できないマーカー（例：バックドアトレガー）を埋め込み、その貢献をファINGERプリント化する。
• チェック段階では、アンリーニング後のモデルがこれらのマーカーに対して示す性能の変化をモニタリングし、アンリーニング効果を定量化する。
• アンリーニングは、uS2U などの手法を用いてサーバーサイドで実行され、再訓練を完全に再開することなく、参加者の影響を効率的に除去する。
• 検証には、vFM や vEM といった非侵襲的技術を用い、外部データやモデルへのアクセスを必要としないため、セキュリティと実用性を確保する。
• フレームワークは、さまざまなアンリーニングおよび検証手法のモジュラー統合をサポートし、体系的な比較とベンチマークが可能になる。

Figure 1: Overview of the proposed VeriFi framework and its three key modules: 1) unlearning module; 2) verification module; and 3) unlearning-verification mechanism. The standard “Federated Learning” procedure is further illustrated in Fig. 2 .

実験結果

リサーチクエスチョン

• RQ1 信頼できない分散環境において、退会参加者が非中央集権的かつ信頼できる方法でフェデレーテッドアンリーニングを効果的に検証できるか？
• RQ2 uS2U や uRT などの異なるアンリーニング手法は、参加者データの削除において、効率性と有効性の観点でどのように比較できるか？
• RQ3 マーカーの設計（サイズ、透過性）が検証の信頼性とモデル性能に与える影響は何か？
• RQ4 フェデレーテッドラーニングにおけるアクティブ参加者の数が、マーカーに基づく検証によるアンリーニング検出可能性に与える影響は？
• RQ5 特に現実的なフェデレーテッドラーニング環境における非 i.i.d. データ分布下でも、検証はどれほど頑健か？

主な発見

• uS2U アンリーニング手法は、最小限の時間的・ストレージ的オーバーヘッドで効果的なデータ削除を実現し、従来の再訓練や勾配ベースの手法を上回る性能を示した。
• vEM 検証手法は、ホワイトボックスアクセスや外部データを必要とせず、強力で非侵襲的なアンリーニング効果の検出を可能にし、セキュリティを強化した。
• マーカーの透過性とサイズは検証の信頼性に顕著な影響を及ぼし、中程度のパラメータが検出可能性と見えにくさのバランスを最も良く保っていた。
• 参加者が増えるほど、個々の貢献の寄与度が希釈され、アンリーニング効果の検出が難しくなるため、検証感度が低下した。
• 厳格な非 i.i.d. データ分布下では、アンリーニング検証は依然として挑戦的であり、uRT と uDP のみが退会データに対して一貫した性能変化を示した。
• uS2U と vEM の組み合わせが、信頼できるフェデレーテッドアンリーニングにおいて最も有望な結果を示し、高い効果性、効率性、セキュリティを兼ね備えていた。

Figure 2: Collaboration and learning in federated learning.