[논문 리뷰] DeepObliviate: A Powerful Charm for Erasing Data Residual Memory in Deep Neural Networks

Yingzhe He, Guozhu Meng외 3명|arXiv (Cornell University)|2021. 05. 13.

Privacy-Preserving Technologies in Data참고 문헌 48인용 수 6

한 줄 요약

DeepObliviate는 중간 모델을 저장하여 영향을 받는 구성 요소만 선택적으로 재학습함으로써, 전체 모델을 다시 학습하는 것보다 최대 75배 빠르게 작동하는 효율적인 딥 뉴럴 네트워크에 대한 기계적 삭제 방법을 제안한다. 이 방법은 높은 정확도를 유지하면서도 백도어 검증을 통과한다.

ABSTRACT

Machine unlearning has great significance in guaranteeing model security and protecting user privacy. Additionally, many legal provisions clearly stipulate that users have the right to demand model providers to delete their own data from training set, that is, the right to be forgotten. The naive way of unlearning data is to retrain the model without it from scratch, which becomes extremely time and resource consuming at the modern scale of deep neural networks. Other unlearning approaches by refactoring model or training data struggle to gain a balance between overhead and model usability. In this paper, we propose an approach, dubbed as DeepObliviate, to implement machine unlearning efficiently, without modifying the normal training mode. Our approach improves the original training process by storing intermediate models on the hard disk. Given a data point to unlearn, we first quantify its temporal residual memory left in stored models. The influenced models will be retrained and we decide when to terminate the retraining based on the trend of residual memory on-the-fly. Last, we stitch an unlearned model by combining the retrained models and uninfluenced models. We extensively evaluate our approach on five datasets and deep learning models. Compared to the method of retraining from scratch, our approach can achieve 99.0%, 95.0%, 91.9%, 96.7%, 74.1% accuracy rates and 66.7$ imes$, 75.0$ imes$, 33.3$ imes$, 29.4$ imes$, 13.7$ imes$ speedups on the MNIST, SVHN, CIFAR-10, Purchase, and ImageNet datasets, respectively. Compared to the state-of-the-art unlearning approach, we improve 5.8% accuracy, 32.5$ imes$ prediction speedup, and reach a comparable retrain speedup under identical settings on average on these datasets. Additionally, DeepObliviate can also pass the backdoor-based unlearning verification.

연구 동기 및 목표

• 특정 데이터 포인트를 삭제하기 위해 딥 뉴럴 네트워크를 다시 학습하는 데 드는 높은 계산 비용을 해결한다.
• GDPR 및 CCPA와 같은 규정에서 요구하는 '잊혀질 권리'를 존중하면서 효율적인 기계적 삭제를 가능하게 한다.
• 재학습 오버헤드를 최소화하면서도 높은 모델 정확도와 사용성을 유지한다.
• 모델 아키텍처를 수정하지 않고도 표준 학습 워크플로우와 호환되는 실용적인 삭제 솔루션을 제공한다.
• 백도어 기반 테스트를 통해 삭제 효과를 검증하여 데이터 영향이 완전히 제거되었는지 확인한다.

제안 방법

• 원래 학습 과정 중 정기적으로 중간 모델을 저장하여 향후 특정 체크포인트에서 재학습할 수 있도록 한다.
• 시간에 따라 저장된 모델들에서 해당 데이터 포인트의 影響을 측정함으로써 그 시간적 잔류 기억을 정량화한다.
• 해당 데이터 포인트에 의해 가장 영향을 받는 모델을 식별하고, 동일한 학습 데이터를 사용하지만 타깃 데이터를 제외한 상태에서만 해당 모델만 재학습한다.
• 실시간으로 잔류 기억 감소 추세를 모니터링하여 재학습 종료 시점을 최적화한다.
• 재학습된 모델들을 영향을 받지 않은 모델들과 연결하여 최종 삭제된 모델을 구성한다.
• 백도어 트리거를 사용하여 삭제 성공 여부를 검증함으로써, 삭제된 데이터에 대해 모델이 더 이상 트리거 레이블을 출력하지 않는지 확인한다.

실험 결과

연구 질문

• RQ1 전체 모델을 다시 학습하지 않고도 효율적인 딥 러닝 삭제를 달성할 수 있는가?
• RQ2 특정 데이터 포인트에 의해 영향을 받는 모델의 부분을 어떻게 식별하고 선택적으로 재학습할 수 있는가?
• RQ3 완전한 삭제를 보장하기 위해 재학습를 언제 멈출 것인지 효과적이고 효율적인 방법은 무엇인가?
• RQ4 제안된 방법은 삭제 시간을 크게 줄이면서도 높은 모델 정확도를 유지할 수 있는가?
• RQ5 삭제된 모델은 백도어 기반 테스트와 같이 철저한 검증을 통과하여 데이터 제거가 완전히 이루어졌음을 확인할 수 있는가?

주요 결과

• DeepObliviate는 MNIST, SVHN, CIFAR-10, Purchase, ImageNet에서 각각 99.0%, 95.0%, 91.9%, 96.7%, 74.1%의 정확도를 기록하며, 전체 재학습과 비교해도 높은 성능 유지를 보였다.
• DeepObliviate는 MNIST, SVHN, CIFAR-10, Purchase, ImageNet에서 각각 66.7×, 75.0×, 33.3×, 29.4×, 13.7×의 속도 향상을 보이며 전체 재학습 대비 빠른 처리를 구현했다.
• 최신 기술 대비 평균적으로 정확도를 5.8% 향상시키고 예측 속도 향상을 32.5×로 개선했다.
• 유사한 설정에서 최신 기술과 유사한 재학습 속도 향상을 달성했지만, 정확도에서는 뚜렷한 우수성을 보였다.
• DeepObliviate는 백도어 기반 삭제 검증을 성공적으로 통과하여, 삭제된 데이터가 더 이상 모델 예측에 영향을 주지 않음을 확인했다.
• 이 방법은 모델에 관계없이 적용 가능하며 표준 학습 파이프라인과 호환되며, 원본 모델 아키텍처나 학습 과정에 대한 수정이 필요 없다.