[논문 리뷰] Deep Regression Unlearning

Ayush K Tarun, Vikram S Chundawat외 2명|arXiv (Cornell University)|2022. 10. 15.

Machine Learning and Data Classification인용 수 8

한 줄 요약

이 논문은 시각, 자연어 처리(NLP), 예측 분석 작업 전반에서 최고 성능을 기록하며 개인정보 침해 공격에 대해 뛰어난 내성성을 보이는, 잊기 데이터의 지식을 선택적으로 제거하면서 유지 데이터를 유지하는 데서 협업적 가중치 최적화를 통해 수행하는 첫 번째 딥 레그리션 언러닝 방법인 Blindspot과 Gaussian Amnesiac를 소개한다. Blindspot 방법은 무작위로 초기화된 모델과 원본 모델의 복제본을 사용하여 세 가지 손실 함수를 통해 잊기 기능을 최적화한다.

ABSTRACT

With the introduction of data protection and privacy regulations, it has become crucial to remove the lineage of data on demand from a machine learning (ML) model. In the last few years, there have been notable developments in machine unlearning to remove the information of certain training data efficiently and effectively from ML models. In this work, we explore unlearning for the regression problem, particularly in deep learning models. Unlearning in classification and simple linear regression has been considerably investigated. However, unlearning in deep regression models largely remains an untouched problem till now. In this work, we introduce deep regression unlearning methods that generalize well and are robust to privacy attacks. We propose the Blindspot unlearning method which uses a novel weight optimization process. A randomly initialized model, partially exposed to the retain samples and a copy of the original model are used together to selectively imprint knowledge about the data that we wish to keep and scrub off the information of the data we wish to forget. We also propose a Gaussian fine tuning method for regression unlearning. The existing unlearning metrics for classification are not directly applicable to regression unlearning. Therefore, we adapt these metrics for the regression setting. We conduct regression unlearning experiments for computer vision, natural language processing and forecasting applications. Our methods show excellent performance for all these datasets across all the metrics. Source code: https://github.com/ayu987/deep-regression-unlearning

연구 동기 및 목표

• 성장하는 개인정보 규제에도 불구하고 여전히 거의 탐색되지 않은 딥 레그리션 모델을 위한 효과적인 언러닝 방법의 부족을 해결하기 위해.
• 딥 러닝 레그리션 환경에서 재학습 없이도 효율적이고 확장 가능하며 개인정보 침해 공격에 강건한 언러닝 기법을 개발하기 위해.
• 분류 기반 언러닝 평가 지표를 레그리션에 적응시켜 언러닝 품질의 의미 있는 평가를 보장하기 위해.
• 감정 데이터를 학습한 레그리션 모델에서 '잊혀질 권리'의 실용적 구현을 가능하게 하기 위해.
• 컴퓨터 비전, NLP, 시계열 예측 분석을 포함한 다양한 레그리션 응용 분야로의 일반화 능력을 입증하기 위해.

제안 방법

• 유지 데이터에 부분적으로 훈련된 무작위로 초기화된 모델과 원본 모델의 복제본을 사용하여 가중치를 협업적으로 최적화하는 Blindspot 언러닝 방법을 제안한다.
• 유지 데이터, 잊기 데이터, 원본 모델로부터의 지식 전이를 위한 세 가지 손실 함수를 사용하는 새로운 가중치 최적화 프로세스를 도입한다.
• 레그리션 작업에서 잊기 효과를 유도하기 위해 가우시안 노이즈 주입 전략을 사용해 모델을 피지컬 튜닝하는 Gaussian Amnesiac 방법을 도입한다.
• 분류 기반 언러닝 지표(예: AIN, $att\_prob$, $w\_dist$, 그리고 잊기 유사도)를 레그리션 평가에 적응시킨다.
• 부분적으로 훈련된 모델이 유지 데이터를 보존하도록 학습하고, 원본 가중치 복제본이 잊기 데이터의 영향을 억제하는 데 기여하는 협업 훈련 설정을 사용한다.
• 이러한 방법을 다양한 레그리션 작업에 적용한다: 이미지 레그리션, 문장 유사도(_STS-B), 전기 수요 예측

실험 결과

연구 질문

• RQ1 기존 방법이 거의 탐색되지 않은 딥 레그리션 모델에서 효과적이고 효율적인 언러닝을 달성할 수 있는가?
• RQ2 재학습 없이도 유지 데이터 성능을 유지하면서 딥 레그리션 모델에서 언러닝을 어떻게 구현할 수 있는가?
• RQ3 딥 레그리션 모델에서 잊기 데이터에 대한 정보를 효과적으로 제거하면서 유지 데이터 지식을 보존하는 데 효과적인 새로운 최적화 전략은 무엇인가?
• RQ4 분류 기반 언러닝 지표는 레그리션으로 어떻게 일반화되며, 의미 있는 평가를 위해 어떤 적응이 필요한가?
• RQ5 제안된 방법들은 레그리션 환경에서 멤버십 추론 공격 및 기타 개인정보 위협에 대해 얼마나 강건한가?

주요 결과

• AgeDB 0-30 밴드에서 언러닝 시 Blindspot 방법은 AIN 점수 1.00을 기록하여 FineTune(0.33)와 Gaussian Amnesiac(0.66)을 크게 앞서며 최고 성능을 기록했다.
• STS-B 데이터셋에서 2015개의 샘플을 잊기 위해 사용할 경우, Blindspot은 가장 낮은 잊기 세트 오차(2.47)와 $att\_prob$(0.34)를 기록했으며, FineTune(2.35, 0.50)와 Gaussian Amnesiac(2.30, 0.47)을 모두 앞섰다.
• 전기 수요 예측 작업에서, 잊기 값이 >=0.85인 경우 Blindspot은 $att\_prob$ 0.17을 기록했고, FineTune(0.29)와 Gaussian Amnesiac(0.36)보다 뛰어난 성능을 보였다.
• -0.85 이하 밴드에서는 Blindspot이 가장 낮은 $w\_dist$ 0.13을 기록했으며, FineTune(0.54)와 Gaussian Amnesiac(2.25)보다 뛰어나, 재학습된 모델과의 가중치 분포 유사도가 뛰어나다는 것을 시사한다.
• Blindspot 방법은 모든 지표에서 가장 일관된 성능을 보이며, $att\_prob$, $w\_dist$, AIN 점수 모두가 가장 낮아 개인정보 침해 공격에 대해 강력한 내성성을 보였다.
• 제안된 방법들은 네 가지 다양한 데이터셋에서 베이스라인 피지컬 튜닝 및 Gaussian Amnesiac를 모두 압도하며, 컴퓨터 비전, NLP, 시계열 레그리션 작업 전반에 걸쳐 일반화 능력을 입증했다.