[논문 리뷰] Model Sparsity Can Simplify Machine Unlearning

Jinghan Jia, Jiancheng Liu외 6명|arXiv (Cornell University)|2023. 04. 11.

Domain Adaptation and Few-Shot Learning인용 수 10

한 줄 요약

이 논문은 pruning을 통한 모델 비활성화가 근사적 언러닝과 정확한 언러닝 사이의 차이를 줄이고, 효율성과 효과를 높이기 위해 prune-then-unlearn 패러다임과 sparsity-aware unlearning을 도입한다.

ABSTRACT

In response to recent data regulation requirements, machine unlearning (MU) has emerged as a critical process to remove the influence of specific examples from a given model. Although exact unlearning can be achieved through complete model retraining using the remaining dataset, the associated computational costs have driven the development of efficient, approximate unlearning techniques. Moving beyond data-centric MU approaches, our study introduces a novel model-based perspective: model sparsification via weight pruning, which is capable of reducing the gap between exact unlearning and approximate unlearning. We show in both theory and practice that model sparsity can boost the multi-criteria unlearning performance of an approximate unlearner, closing the approximation gap, while continuing to be efficient. This leads to a new MU paradigm, termed prune first, then unlearn, which infuses a sparse model prior into the unlearning process. Building on this insight, we also develop a sparsity-aware unlearning method that utilizes sparsity regularization to enhance the training process of approximate unlearning. Extensive experiments show that our proposals consistently benefit MU in various unlearning scenarios. A notable highlight is the 77% unlearning efficacy gain of fine-tuning (one of the simplest unlearning methods) when using sparsity-aware unlearning. Furthermore, we demonstrate the practical impact of our proposed MU methods in addressing other machine learning challenges, such as defending against backdoor attacks and enhancing transfer learning. Codes are available at https://github.com/OPTML-Group/Unlearn-Sparse.

연구 동기 및 목표

• 데이터 규제와 프라이버시 요구에 대한 중요한 대응으로서 머신 언러닝(MU)을 동기부여한다.
• MU 성능을 향상시키기 위해 sparsity/pruning을 도입한 모델 기반 관점을 개발한다.
• 효율성과 효과를 높이기 위한 prune-then-unlearn 패러다임과 sparsity-aware unlearning을 제안하고 평가한다.
• 다양한 지표(UA, MIA-Efficacy, RA, TA, RTE)와 다양한 데이터셋/모델에 걸친 풀스택 평가를 제공한다.
• MU 이점을 극대화하면서 일반화 성능을 보존하기 위한 실용적 pruning 방법 추천을 제시한다.

제안 방법

• pruning으로 유도된 희소성과 MU 효능 간의 이론적 연결을 제시한다(Prop. 2).
• pruning이 먼저이고 unlearning이 뒤따르는 prune-first 접근법을 제안한다(OMP, SynFlow 고려).
• 역 Hessian 그라디언트 곱을 위한 WoodFisher를 사용하고 증강된 influence-unlearning 공식을 도출한다(Prop. 1).
• L1 패널티(eq. 3)와 세 가지 희소성 스케줄러(상수, 선형 증가, 선형 감소)를 갖춘 sparsity-aware unlearning 목표를 개발한다.
• 클래스별 및 무작위 잊음을 포함하는 CIFAR-10/ResNet-18에서 다수의 unlearning 방법(FT, GA, FF, IU)으로 평가한다(Appendix의 추가 설정 포함).
• 희소된 모델과 밀집한 모델을 UA, MIA-Efficacy, RA, TA, RTE 측면에서 비교한다.

Figure 1: Schematic overview of our proposal on model sparsity-driven MU . Evaluation at-a-glance shows the performance of three unlearning methods (retraining-based exact unlearning, finetuning-based approximate unlearning [ 12 ] , and proposed unlearning on 95%-sparse model) under five metrics: un

실험 결과

연구 질문

• RQ1 모델 희소성이 여러 기준에서 근사 MU와 정확한 언러닝 간의 격차를 좁히는가?
• RQ2 prune-first가 서로 다른 forget 시나리오와 모델에서 MU 성능을 일관되게 개선하는가?
• RQ3 어떤 pruning 방법이 일반화나 효율성을 해치지 않으면서 MU를 가장 잘 지원하는가?
• RQ4 sparsity-aware unlearning(L1 규제 포함)이 MU 성능에서 표준 접근법과 비교해 어떤 차이가 있는가?
• RQ5 MU 이점을 극대화하기 위한 희소성 수준 및 pruning 전략을 선택하기 위한 실용 가이드라인은 무엇인가?

주요 결과

• 모델 희소성이 근사적 언러닝과 재훈련 기반의 정확한 언러닝 간의 차이를 줄이고, 더 높은 희소성에서 더 큰 이득을 보인다.
• FT, GA, FF, IU 전반에서 희소성은 일관되게 언러닝 효율성(UA)과 MIA-Efficacy를 향상시키고, 충실도(RA)는 종종 보존된다.
• 95% 희소성의 경우 CIFAR-10/ResNet-18에서 클래스별 잊음에 대해 FT가 UA에서 약 51%, MIA-Efficacy에서 8%까지 증가하며; 재훈련과의 전체 차이는 감소한다.
• GA는 희소성 아래에서 RA가 약한 경향이 있고, FT와 IU가 TA를 더 잘 보존하며, Pruning 방법인 SynFlow와 OMP가 MU에 대해 IMP보다 우수하다.
• gamma 스케줄러가 선형으로 감소하는 sparsity-aware unlearning은 상수나 증가하는 스케줄에 비해 UA와 MIA-Efficacy를 개선하면서 TA를 유지한다.
• sparsity-aware unlearning으로 FT를 사용할 때 77%의 unlearning efficacy 이득이 보고되어, 실제적 이익이 크다.

Figure 5: Performance of sparsity-aware unlearning vs. FT and Retrain on class-wise forgetting and random data forgetting under (CIFAR-10, ResNet-18). Each metric is normalized to $[0,1]$ based on the best result across unlearning methods for ease of visualization, while the actual best value is pro