[논문 리뷰] BlindU: Blind Machine Unlearning without Revealing Erasing Data

Weiqi Wang, Zhiyi Tian외 2명|arXiv (Cornell University)|2026. 01. 12.

Privacy-Preserving Technologies in Data인용 수 0

한 줄 요약

BlindU는 IB 기반의 압축 표현으로 작동하고 사용자가 업로드한 마스킹된 지우기 데이터로 처리하여 개인 정보 민감한 설정에서 학습 제거를 가능하게 하며, 서버에 원시 지우기 데이터를 공개할 필요를 제거한다.

ABSTRACT

Machine unlearning enables data holders to remove the contribution of their specified samples from trained models to protect their privacy. However, it is paradoxical that most unlearning methods require the unlearning requesters to firstly upload their data to the server as a prerequisite for unlearning. These methods are infeasible in many privacy-preserving scenarios where servers are prohibited from accessing users' data, such as federated learning (FL). In this paper, we explore how to implement unlearning under the condition of not uncovering the erasing data to the server. We propose extbf{Blind Unlearning (BlindU)}, which carries out unlearning using compressed representations instead of original inputs. BlindU only involves the server and the unlearning user: the user locally generates privacy-preserving representations, and the server performs unlearning solely on these representations and their labels. For the FL model training, we employ the information bottleneck (IB) mechanism. The encoder of the IB-based FL model learns representations that distort maximum task-irrelevant information from inputs, allowing FL users to generate compressed representations locally. For effective unlearning using compressed representation, BlindU integrates two dedicated unlearning modules tailored explicitly for IB-based models and uses a multiple gradient descent algorithm to balance forgetting and utility retaining. While IB compression already provides protection for task-irrelevant information of inputs, to further enhance the privacy protection, we introduce a noise-free differential privacy (DP) masking method to deal with the raw erasing data before compressing. Theoretical analysis and extensive experimental results illustrate the superiority of BlindU in privacy protection and unlearning effectiveness compared with the best existing privacy-preserving unlearning benchmarks.

연구 동기 및 목표

• IB 기반 모델에서 프라이버시를 보장하는 머신 언링을 형식화한다.
• 사용자가 업로드한 압축 표현에서 작동하는 서버 측 언링 프레임워크를 개발한다.
• IB 압축과 차등 프라이버시 마스킹을 통한 이중 프라이버시 보호를 보장한다.
• MGDA 기반 다중 목적 최적화 접근법을 사용하여 망각과 유용성의 균형을 맞춘다.
• 프라이버시 누설과 언링 효과에 대한 이론적 및 실험적 검증을 제공한다.

제안 방법

• 연합 학습을 위해 학습된 IB 기반 모델과 압축기 및 근사기를 사용한다.
• BlindU는 언링 사용자가 로컬에서 지운 데이터를 마스킹하고 압축한 후 (Z_e, Y_e)를 서버에 업로드하여 언링을 수행하도록 한다.
• 언링 압축기: 변동적/ MINE 스타일 경계(bound)를 사용하여 I(Z_e; Z_a)를 최소화하고 압축기로부터 Z_e에 대한 정보를 제거한다.
• 언링 근사기: I(Y_e; Z_e)를 최소화하여 근사기에서 라벨 관련 정보를 지운다.
• 보조 데이터 세트 D_a에서 제약된 IB 재훈련으로 언링을 형식화하고 제약 I(Z_a; Z_e) <= ε_z 및 I(Z_e; Y_e) <= ε_y를 적용하며 MGDA 기반 가중 목표로 해결한다.
• MGDA는 재훈련(유지된 데이터에 대한 IB 위험)과 잊음(지워진 데이터에 대한 정보)을 균형 잡아 D_r에서의 재훈련을 근사한다.
• 노이즈 없는 DP 마스킹: 압축 전에 특징 샘플링(대체 여부 포함)을 적용하여 노이즈를 주입하지 않고 (ε, δ)-DP를 달성한다.

실험 결과

연구 질문

• RQ1 IB 기반 모델에서 지운 데이터를 서버에 노출하지 않고 언링을 수행할 수 있는가?
• RQ2 IB 압축과 DP 마스킹이 효과적인 언링을 가능하게 하면서 이중 프라이버시 보호를 제공할 수 있는가?
• RQ3 유틸리티를 보존하면서 지워진 정보를 제거하기 위해 압축된 표현에서 작동하는 언링 모듈을 어떻게 설계할 것인가?
• RQ4 제안된 MGDA 프레임워크에서 망각 강도와 모델 유용성 사이의 trade-off는 어느 정도인가?

주요 결과

• BlindU는 프라이버시 보호를 크게 강화하여 CIFAR10에서 기존 방법에 비해 프라이버시 재구성 MSE를 57.76에서 421.9로 증가시켰다.
• BlindU는 평가된 방법 중 최고 제거 효과를 달성하면서 모델 유용성 및 효율성을 비슷하거나 더 좋게 유지한다.
• 압축 데이터에서 작동하여 원시 지워진 데이터에 접근하지 않고도 효과적인 언링을 실현하기 위해 두 개의 전용 언링 모듈(압축기와 근사기)이 함께 작동한다.
• 노이즈 없는 DP 마스킹은 특징 수준의 마스킹 전략을 통해 언링 프로세스를 왜곡하지 않으면서 이중 프라이버시 보호를 제공한다.
• 이 접근법은 형식적 프라이버시 보호 분석과 프라이버시 누출 공격 및 언링 벤치마크에 대한 광범위한 실험으로 검증된다.