[논문 리뷰] Corrective Machine Unlearning

Shashwat Goel, Ameya Prabhu외 3명|arXiv (Cornell University)|2024. 02. 21.

Educational Technology and Assessment인용 수 4

한 줄 요약

이 논문은 기존에 훈련된 기계 학습 모델에서 조작된 데이터의 영향을 완화하기 위한 새로운 프레임워크인 Corrective Machine Unlearning을 소개한다. 이는 알려진 부패한 샘플의 대표적 부분집합만을 알고 있을 때 적용 가능하다. 기존의 개인정보 보호를 우선시하는 통상적인 언러닝 방법과 달리, 이는 영향을 받은 데이터 도메인에서 모델 정확도를 복원하는 데 초점을 맞추며, 선택적 시냅스 감쇠(Selective Synaptic Dampening, SSD)가 알려진 오염된 샘플이 10%에 불과할 때조차도 백도어 트리거를 효과적으로 언러닝할 수 있음을 입증한다. 반면, 재훈련 기반 접근법은 알려진 데이터가 80%에 이르더라도 실패한다.

ABSTRACT

Machine Learning models increasingly face data integrity challenges due to the use of large-scale training datasets drawn from the Internet. We study what model developers can do if they detect that some data was manipulated or incorrect. Such manipulated data can cause adverse effects including vulnerability to backdoored samples, systemic biases, and reduced accuracy on certain input domains. Realistically, all manipulated training samples cannot be identified, and only a small, representative subset of the affected data can be flagged. We formalize Corrective Machine Unlearning as the problem of mitigating the impact of data affected by unknown manipulations on a trained model, only having identified a subset of the corrupted data. We demonstrate that the problem of corrective unlearning has significantly different requirements from traditional privacy-oriented unlearning. We find most existing unlearning methods, including retraining-from-scratch without the deletion set, require most of the manipulated data to be identified for effective corrective unlearning. However, one approach, Selective Synaptic Dampening, achieves limited success, unlearning adverse effects with just a small portion of the manipulated samples in our setting, which shows encouraging signs for future progress. We hope our work spurs research towards developing better methods for corrective unlearning and offers practitioners a new strategy to handle data integrity challenges arising from web-scale training. Code is available at https://github.com/drimpossible/corrective-unlearning-bench.

연구 동기 및 목표

• 백도어나 잘못된 레이블링과 같은 미세하고 탐지되지 않은 조작으로 인해 훈련된 데이터에서 발생하는 정확도 저하 문제를 해결하기 위해.
• 기존의 개인정보 중심 언러닝과는 근본적으로 다름을 보여주는 새로운 언러닝 패러다임인 Corrective Machine Unlearning을 정식화하기 위해.
• 이 새로운 환경에서 기존 언러닝 방법을 평가하여, 알려진 데이터의 일부만 존재할 경우 재훈련 기반 접근법이 실패한다는 것을 드러내기 위해.
• 선택적 시냅스 감쇠(Selective Synaptic Dampening, SSD)를 활용한 정정 언러닝의 가능성을 입증하기 위해. 이는 최소한의 알려진 데이터로도 백도어 영향을 제거하는 데 유망하다.
• 대규모 웹 기반 모델에서의 데이터 무결성 문제에 특화된 강력하고 적응형 언러닝 알고리즘에 대한 향후 연구를 촉진하기 위해.

제안 방법

• 이 논문은 알려진 부패한 샘플의 대표적 부분집합만 존재할 때, 영향을 받은 데이터 도메인에서 정상 레이블 정확도를 향상시키는 것을 목표로 하는 Corrective Machine Unlearning 문제를 정식화한다.
• 논문은 두 가지 유형의 데이터 조작에 대해 최신 언러닝 방법(재훈련 기반 및 SSD)을 평가한다: BadNet 스타일의 백도어 오염 및 Interclass Confusion 레이블 오류.
• 이 접근법은 악성 사용자가 트리거나 레이블 교환을 통해 데이터를 조작하고, 모델 개발자가 훈련 후에 이러한 샘플의 소수의 대표적 부분만 탐지할 수 있는 위협 모델을 사용한다.
• 재훈련과의 분포 유사성보다는 조작된 도메인에서의 정확도 향상에 중점을 둔 새로운 평가 지표를 도입한다.
• 실제 데이터 무결성 문제를 시뮬레이션하기 위해, 전체 데이터 오염 범위가 알려지지 않은 현실적인 조건에서 방법을 벤치마킹한다.
• 향후 방법은 엄격한 개인정보 보호 보장보다는 오염된 도메인에서의 정확도 복원을 우선시해야 하며, 특히 적응형 공격 상황에서 그러한 우선순위가 중요하다고 제안한다.

Figure 1 : Traditionally, retraining after removing identified data is considered a gold standard in unlearning. However, since developers may not identify all the wrong data for unlearning, retraining-from-scratch on remaining data leads to poor clean-label accuracy. Ideally, corrective unlearning

실험 결과

연구 질문

• RQ1 알려진 부패한 샘플의 일부만 존재할 때, 기존 언러닝 방법이 알려지지 않은 데이터 조작으로 인해 영향을 받은 도메인에서 모델 정확도를 효과적으로 복원할 수 있는가?
• RQ2 재훈련 기반 접근법이 조작된 데이터의 80%가 알려져 있을지라도, 정정 언러닝 상황에서 왜 실패하는가?
• RQ3 선택적 시냅스 감쇠(Selective Synaptic Dampening, SSD)는 알려진 조작 샘플이 10%에 불과할 때 백도어 오염의 영향을 얼마나 효과적으로 제거할 수 있는가?
• RQ4 SSD는 왜 Interclass Confusion 레이블 오류를 완화하지 못하며, 이는 현재 언러닝 방법의 일반화 능력에 대해 어떤 시사점을 제공하는가?
• RQ5 소수의 대표적 조작 샘플만으로도 효과적인 정정 언러닝을 가능하게 하는 이론적 및 알고리즘적 조건는 무엇인가?

주요 결과

• 재훈련 기반 접근법은 조작된 데이터의 80%가 알려져 있을지라도, 영향을 받은 도메인에서 정상 레이블 정확도를 복원하지 못하며, 이는 정정 언러닝 상황에서 이 금융 표준 접근법이 부적절함을 보여준다.
• 선택적 시냅스 감쇠(Selective Synaptic Dampening, SSD)는 알려진 조작 샘플이 10%에 불과할 때조차도 BadNet 스타일의 백도어 오염 영향을 성공적으로 완화하여, 이 설정에서 정정 언러닝의 실현 가능성을 입증한다.
• SSD는 Interclass Confusion 레이블 오류의 영향을 언러닝하지 못하며, 이는 현재 언러닝 방법이 다양한 조작 유형에 대해 강건하지 않음을 시사한다.
• 이 연구는 개인정보 중심 언러닝 목표와 데이터 무결성 복원 요구사항 사이에 근본적인 괴리를 드러내며, 재훈련과의 분포 유사성만으로는 정정 성능에 충분하지 않음을 보여준다.
• 결과적으로, 개인정보 보장보다 정확도 복원을 우선시하는 새로운 언러닝 알고리즘이 데이터 무결성 문제에 대해 특별히 설계되어야 한다는 필요성을 강조한다.
• 논문은 중요한 연구 격차를 규명한다: 현재까지 어떤 방법도 소수의 대표적 조작 샘플만으로도 임의의 데이터 조작을 신뢰성 있게 언러닝하지 못한다.

Figure 2 : Clean-label Accuracy on Test Samples with Poison Trigger . Each method is shown across deletion sizes $|S_{f}|$ after unlearning (“None” represents the original model). Existing unlearning methods except SSD, including EU which is traditionally considered a gold-standard, perform poorly w