[論文レビュー] Machine Unlearning of Federated Clusters

Chao Pan, Jin Sima+3 more|arXiv (Cornell University)|Oct 28, 2022

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本論文は、フェデレーテッドクラスタリングのための最初の機械的消去フレームワーク（MUFC）を導入し、スパース圧縮マルチセット集約（SCMA）方式を用いて、対数的通信複雑度で効率的かつプライバシー保護型にクライアントデータを削除可能にした。この手法は、完全再訓練に比べて84倍速い消去を達成しながら、特にクラスタサイズの不均衡な状況下でも優れたクラスタリング性能を維持する。

ABSTRACT

Federated clustering (FC) is an unsupervised learning problem that arises in a number of practical applications, including personalized recommender and healthcare systems. With the adoption of recent laws ensuring the "right to be forgotten", the problem of machine unlearning for FC methods has become of significant importance. We introduce, for the first time, the problem of machine unlearning for FC, and propose an efficient unlearning mechanism for a customized secure FC framework. Our FC framework utilizes special initialization procedures that we show are well-suited for unlearning. To protect client data privacy, we develop the secure compressed multiset aggregation (SCMA) framework that addresses sparse secure federated learning (FL) problems encountered during clustering as well as more general problems. To simultaneously facilitate low communication complexity and secret sharing protocols, we integrate Reed-Solomon encoding with special evaluation points into our SCMA pipeline, and prove that the client communication cost is logarithmic in the vector dimension. Additionally, to demonstrate the benefits of our unlearning mechanism over complete retraining, we provide a theoretical analysis for the unlearning performance of our approach. Simulation results show that the new FC framework exhibits superior clustering performance compared to previously reported FC baselines when the cluster sizes are highly imbalanced. Compared to completely retraining K-means++ locally and globally for each removal request, our unlearning procedure offers an average speed-up of roughly 84x across seven datasets. Our implementation for the proposed method is available at https://github.com/thupchnsky/mufc.

研究の動機と目的

• GDPR や CCPA などのプライバシー規制下で、フェデレーテッドクラスタリングにおける機械的消去の重要なニーズに対応すること。
• 完全再訓練なしに効率的なデータ削除を可能にする、安全で通信効率の良いフェデレーテッドクラスタリングシステムを設計すること。
• サーバーが個々のクライアントデータではなく、集約されたクラスタ数のみをアクセスできるように保証する、新しいスパース圧縮マルチセット集約（SCMA）プロトコルを開発すること。
• 理論的および実験的に、MUFCにおける消去が完全再訓練よりも著しく高速であることを示すこと。
• 将来の研究を支援するため、がんゲノムや腸内微生物叢データを含むベンチマークデータセットを提供すること。

提案手法

• グローバルクラスタリング目的関数に対する順序最適近似を達成するワンショットフェデレーテッドK-means++クラスタリングアルゴリズムを提案。
• ベクトル次元における対数的通信コストを達成するため、リード・ソロモン符号化と特別に選ばれた評価点を組み合わせた、セキュア集約フレームワークであるSCMAを導入。
• 秘密分散と圧縮マルチセット集約を用いて、サーバーが個々のデータ分布ではなく、クライアントベクトルの和のみを学習することを保証。
• 効率的消去と相性の良い、カスタマイズされた初期化手順をFCフレームワークに採用。
• リード・ソロモン符号化と単位根における評価点を統合し、効率的かつセキュアで低複雑度のマルチセット集約を実現。
• 影響を受けるクライアントとサーバーのみを更新する消去メカニズムを設計し、各データ削除リクエスト後に完全再訓練を回避。

実験結果

リサーチクエスチョン

• RQ1 特定のクライアントデータの影響を完全再訓練なしに効率的に削除できるように、フェデレーテッドクラスタリングを消去可能にすることができるか？
• RQ2 クライアントのプライバシーを保護しつつ、クラスタリングにおける効率的消去を可能にするセキュア集約はどのように設計できるか？
• RQ3 フェデレーテッドクラスタリングシステムにおける消去の理論的・実験的複雑度は、完全再訓練と比較してどの程度か？
• RQ4 クラスタサイズの極めて不均衡な状況下で、提案手法はどのように性能を発揮するか？これは一般的な現実世界の課題である。
• RQ5 提案されたフレームワークは、バッチ削除および悪意ある削除シナリオをサポートするために拡張可能か？

主な発見

• 提案されたMUFCフレームワークは、7つのベンチマークデータセット全体で、完全再訓練に比べ平均84倍の高速化を達成した。
• MUFCは、既存のベースライン（K-FEDおよびDC-KM）を上回るクラスタリング性能を示し、TMIデータセットでは損失比1.05±0.01を記録し、集中型K-means++に非常に近い性能を達成した。
• SCMA方式は、ベクトル次元に対して対数的通信複雑度を達成し、従来の線形複雑度を持つスパースセキュア集約手法を上回った。
• 従来の手法が苦戦する極めて不均衡なクラスタサイズ下でも、フレームワークは強固なクラスタリング性能を維持した。
• 消去手順は理論的に再訓練よりも著しく低い複雑度であることが証明されており、一貫した実験的検証も得られた。
• 著者らは、TCGAからのメチル化データと腸内微生物叢データを含む、新たなベンチマークコレクションを公開し、将来的なフェデレーテッド消去研究を支援した。