[論文レビュー] BlindU: Blind Machine Unlearning without Revealing Erasing Data

Weiqi Wang, Zhiyi Tian+2 more|arXiv (Cornell University)|Jan 12, 2026

Privacy-Preserving Technologies in Data被引用数 0

ひとこと要約

BlindUは圧縮表現（IBベース）上で動作し、ユーザーがアップロードした削除データをマスクして消去することで、サーバへ生データを開示する必要をなくし、プライバシー感度の高い設定で学習の忘却を可能にする。

ABSTRACT

Machine unlearning enables data holders to remove the contribution of their specified samples from trained models to protect their privacy. However, it is paradoxical that most unlearning methods require the unlearning requesters to firstly upload their data to the server as a prerequisite for unlearning. These methods are infeasible in many privacy-preserving scenarios where servers are prohibited from accessing users' data, such as federated learning (FL). In this paper, we explore how to implement unlearning under the condition of not uncovering the erasing data to the server. We propose extbf{Blind Unlearning (BlindU)}, which carries out unlearning using compressed representations instead of original inputs. BlindU only involves the server and the unlearning user: the user locally generates privacy-preserving representations, and the server performs unlearning solely on these representations and their labels. For the FL model training, we employ the information bottleneck (IB) mechanism. The encoder of the IB-based FL model learns representations that distort maximum task-irrelevant information from inputs, allowing FL users to generate compressed representations locally. For effective unlearning using compressed representation, BlindU integrates two dedicated unlearning modules tailored explicitly for IB-based models and uses a multiple gradient descent algorithm to balance forgetting and utility retaining. While IB compression already provides protection for task-irrelevant information of inputs, to further enhance the privacy protection, we introduce a noise-free differential privacy (DP) masking method to deal with the raw erasing data before compressing. Theoretical analysis and extensive experimental results illustrate the superiority of BlindU in privacy protection and unlearning effectiveness compared with the best existing privacy-preserving unlearning benchmarks.

研究の動機と目的

• IBベースモデルにおけるプライバシー保護付き機械的忘却を正式に定式化する。
• ユーザーがアップロードする圧縮表現上で動作するサーバーサイドの忘却フレームワークを開発する。
• IB圧縮と差分プライバシー・マスキングによる二重のプライバシー保護を保証する。
• MGDAを用いた多目的最適化アプローチで忘却と有用性のバランスを取る。
• プライバシー漏洩と忘却効果に対する理論的・経験的検証を提供する。

提案手法

• 連合学習のために訓練された情報ボトルネック（IB）ベースのモデルを用い、圧縮器と近似器を含む。
• BlindUは忘却ユーザーがローカルで削除データをマスクして圧縮し、サーバへ(Z_e, Y_e)をアップロードして忘却を実行する。
• 忘却圧縮器: Z_eに関する情報を圧縮器から除去するために変分/MINE風の界を用いてI(Z_e; Z_a)を最小化する。
• 忘却近似器: Y_eに関する情報を近似器から除去するためにI(Y_e; Z_e)を最小化する。
• D_aという補助データセット上でI(Z_a; Z_e) <= ε_zおよびI(Z_e; Y_e) <= ε_yという制約の下で、MGDAベースの重み付き目的関数を用いて制約付きIB再訓練として忘却を定式化する。
• MGDAは再訓練（保持データ上のIBリスク）と忘却（削除データに関する情報）のバランスを取り、D_r上の再訓練を近似する。
• ノイズフリーDPマスキング: 圧縮前に特徴量のサンプリングを実施して（置換有無を問わず）(ε, δ)-DPをノイズを注入せずに達成する。

実験結果

リサーチクエスチョン

• RQ1 IBベースモデルで削除データをサーバに露出させずに忘却を実行できるか。
• RQ2 IB圧縮とDPマスキングは、効果的な忘却を実現しつつ二重のプライバシー保護を提供できるか。
• RQ3 圧縮表現上で動作し、有用性を保ちつつ削除情報を除去する忘却モジュールをどう設計するか。
• RQ4 提案されたMGDAフレームワークにおける忘却の強度とモデル有用性のトレードオフはどうなるか。

主な発見

• BlindUはプライバシー保護を大幅に強化し、CIFAR10におけるプライバシー再構築MSEを57.76から421.9へ向上させた（既存手法と比較）。
• BlindUは評価対象の手法の中で最も高い除去効果を達成しつつ、モデルの有用性と効率を比較可能または上回る。
• 2つの専用忘却モジュール（圧縮器と近似器）が圧縮データ上で協調して、生データにアクセスせずに効果的な忘却を実現する。
• ノイズフリーDPマスキングは特徴量レベルのマスキング戦略によって忘却プロセスを乱さず、二重のプライバシー保護を提供する。
• 正式なプライバシー保護分析と、プライバシー漏洩攻撃および忘却ベンチマークに対する広範な実験で本手法を検証している。