[논문 리뷰] Certifiable Machine Unlearning for Linear Models

Ananth Mahadevan, Michael Mathioudakis|arXiv (Cornell University)|2021. 06. 29.

Machine Learning and Data Classification참고 문헌 23인용 수 11

한 줄 요약

이 논문은 선형 모델에 대해 최신의 근사 기반 기계 학습 삭제 방법인 Fisher, Influence, DeltaGrad의 종합적인 실험 평가를 제시하며, 효율성, 효과성, 검증 가능성 사이의 상호 상충 관계를 입증한다. 누적 삭제 오차가 전체 재학습을 필요로 할 때를 감지하기 위한 실시간 전략을 제안하며, 보수적인 정확도를 유지하는 선형 추정기로 검증 불일치를 예측한다.

ABSTRACT

Machine unlearning is the task of updating machine learning (ML) models after a subset of the training data they were trained on is deleted. Methods for the task are desired to combine effectiveness and efficiency, i.e., they should effectively "unlearn" deleted data, but in a way that does not require excessive computation effort (e.g., a full retraining) for a small amount of deletions. Such a combination is typically achieved by tolerating some amount of approximation in the unlearning. In addition, laws and regulations in the spirit of "the right to be forgotten" have given rise to requirements for certifiability, i.e., the ability to demonstrate that the deleted data has indeed been unlearned by the ML model. In this paper, we present an experimental study of the three state-of-the-art approximate unlearning methods for linear models and demonstrate the trade-offs between efficiency, effectiveness and certifiability offered by each method. In implementing the study, we extend some of the existing works and describe a common ML pipeline to compare and evaluate the unlearning methods on six real-world datasets and a variety of settings. We provide insights into the effect of the quantity and distribution of the deleted data on ML models and the performance of each unlearning method in different settings. We also propose a practical online strategy to determine when the accumulated error from approximate unlearning is large enough to warrant a full retrain of the ML model.

연구 동기 및 목표

• 선형 모델에 대해 세 가지 주요 근사 삭제 방법(Fisher, Influence, DeltaGrad)의 효율성, 효과성, 검증 가능성 측면에서의 성능 상충 관계 평가.
• 근사 삭제 방법이 유의미하게 유지될 수 있는 실용적 조건과 전체 재학습이 필수적인 경우를 규명.
• 누적 오차가 허용 가능한 임계값을 초과할 때 이를 감지하고 전체 재학습을 트리거하는 실시간 전략 개발 및 검증.
• 다양한 실세계 데이터셋과 삭제 패턴에서 삭제 방법을 비교할 수 있는 표준화된 실험 파이프라인 제공.
• 전체 재학습 없이도 검증 가능한 삭제를 가능하게 하여 데이터 프라이버시 규정(예: '잊혀질 권리') 준수를 지원.

제안 방법

• 저자들은 세 단계로 구성된 통합된 머신러닝 파이프라인을 구현: 초기 데이터로의 학습, 학습된 모델을 통한 추론, 일부 학습 데이터 삭제를 통한 삭제 처리.
• 다섯 가지 실세계 데이터셋에서 삭제 비율과 분포(랜덤, 타겟팅, 타겟팅-랜덤)에 따라 Fisher, Influence, DeltaGrad 세 가지 삭제 방법 평가.
• 핵심 기여는 초기 모델 정확도(AccErr_init)를 사용해 검증 불일치(AccDis)를 예측하는 선형 추정기 도입으로, 삭제 품질의 실시간 평가 가능.
• 임계값 기반 실시간 전략 사용: 예측된 AccDis가 사전 정의된 한계를 초과할 경우, 나머지 데이터로 전체 재학습을 트리거.
• 추정기는 실증 데이터를 기반으로 校정되었으며, 다양한 데이터셋 간 AccErr_init와 AccDis 간 상관관계 분석(Pearson 및 Spearman)을 통해 검증.
• 성능 평가 지표로는 테스트 정확도, 삭제 시간, 예측 추정기의 평균 제곱오차(MSE) 등 오차 지표 사용.

실험 결과

연구 질문

• RQ1 Fisher, Influence, DeltaGrad 세 가지 삭제 방법이 다양한 데이터셋과 삭제 패턴에서 효율성, 효과성, 검증 가능성 측면에서 어떻게 비교되는가?
• RQ2 초기 모델 정확도(AccErr_init)와 검증 불일치(AccDis) 사이의 관계는 무엇이며, 이를 신뢰할 수 있게 추정하여 재학습 결정에 활용할 수 있는가?
• RQ3 근사 삭제에서 누적된 오차가 검증 가능성 요구사항을 유지하는 데에 너무 커지는 시점은 언제인가?
• RQ4 경량이며 실시간 추정기로 전체 재학습이 필요한지를 예측할 수 있는가? 이는 과도한 계산 비용을 방지한다.
• RQ5 삭제 비율과 데이터 분포(예: 랜덤 대 비해 타겟팅)는 삭제 방법의 성능 및 신뢰성에 어떤 영향을 미치는가?

주요 결과

• Fisher 및 Influence 방법은 높은 효율성과 강력한 효과성을 보이며, 전체 재학습 대비 빠른 속도를 유지하면서도 양호한 정확도 유지를 한다.
• DeltaGrad는 안정적인 성능을 보이지만, Fisher 및 Influence에 비해 속도와 정확도 측면에서 경쟁력이 떨어진다.
• 대부분의 데이터셋에서 AccErr_init와 AccDis 간 강한 정적 상관관계(Pearson r > 0.9)를 관찰하여, 선형 추정기를 통한 검증 불일치 예측이 타당함을 뒷받침.
• 제안된 AccDis 추정기의 평균 제곱오차(MSE)는 대부분의 데이터셋에서 낮은 편(MSE < 50)이며, Higgs(MSE = 2445.24) 및 Covtype(MSE = 427.77)에서는 높은 분산과 낮은 상관관계로 인해 오차가 더 크다.
• 실시간 재학습 트리거 전략은 누적 오차가 허용 수준을 초과할 때 이를 효과적으로 감지하며, 보수적인 과대추정을 통해 준수 보장을 확보한다.
• 연구는 검증 가능성과 효과성 사이의 상충 관계를 확인한다: 삭제된 데이터를 처리하면 모델 정확도가 감소하지만, 제시된 방법은 적시 재학습을 통해 이 상충관계를 균형 잡는다.