[논문 리뷰] Descent-to-Delete: Gradient-Based Methods for Machine Unlearning

Seth Neel, Aaron Roth외 1명|arXiv (Cornell University)|2020. 07. 06.

Privacy-Preserving Technologies in Data참고 문헌 14인용 수 54

한 줄 요약

이 논문은 임의의 업데이트 순서 하에서 재학습과의 통계적 구별 불가능성을 보존하는 볼록 모델을 위한 그래디언트 기반 언러닝 방법을 개발하고, 강한 및 약한 언러닝 개념과 고차원 데이터에 대한 분산 접근법을 제시한다.

ABSTRACT

We study the data deletion problem for convex models. By leveraging techniques from convex optimization and reservoir sampling, we give the first data deletion algorithms that are able to handle an arbitrarily long sequence of adversarial updates while promising both per-deletion run-time and steady-state error that do not grow with the length of the update sequence. We also introduce several new conceptual distinctions: for example, we can ask that after a deletion, the entire state maintained by the optimization algorithm is statistically indistinguishable from the state that would have resulted had we retrained, or we can ask for the weaker condition that only the observable output is statistically indistinguishable from the observable output that would have resulted from retraining. We are able to give more efficient deletion algorithms under this weaker deletion criterion.

연구 동기 및 목표

• 온라인 설정에서 임의의 추가/삭제 업데이트가 발생하는 볼록 모델의 데이터 삭제 문제를 다룬다.
• 언러닝에서 완전(상태 수준) 인지 가능성과 관찰 가능한 출력의 indistinguishability를 정의하고 비교한다.
• 고정된 업데이트당 계산 예산으로 강력하고 약한 언러닝 알고리즘을 개발한다.
• 노이즈를 가하고 분산 최적화를 활용해 (ε,δ)-언러닝을 달성하고 정확도-실행 시간의 균형을 개선한다.
• 비강한 볼록 손실에서도 삭제 보장을 유지하면서 정규화 기반 전략을 탐색한다.

제안 방법

• 이전 라운드에서 시작된 페널티된 그라디언트 디센트(PGD)를 사용해 각 업데이트 전에 최적에 가깝도록 매개변수를 얻는다.
• 최적점의 이웃에서 출력의 (ε,δ)-구별 가능성을 보장하기 위해 퍼블리싱 함수와 함께 가우시안 잡음을 추가한다.
• 업데이트 시퀀스 길이에 로그 증가하는 비용으로 강한 언러닝 프레임워크를 개발한다.
• 데이터를 파티션으로 나누고 파티션별로 독립적으로 학습한 뒤 보관 리저버 샘플링으로 매개변수를 평균화해 분포 보장을 유지하는 분산 PGD 변형을 도입한다.
• 정규화를 통해 볼록 손실을 강하게 만들어 강한 볼록성을 유도하고, 정규화 강도와 정확도 간의 트레이드오프를 통해 동일한 언러닝 보장을 가능하게 한다.
• 언러닝 보장을 업데이트 간 보장을 유지하기 위해 리저버 샘플링 및 Subsample-and-Aggregate 기법과의 관련성을 설명한다.

실험 결과

연구 질문

• RQ1 볼록 모델에서 데이터를 삭제해도 결과 출력이 재학습으로부터 통계적으로 구별 불가능하게 되는가?
• RQ2 머신 러닝에서의 완전(상태 수준) 인지 가능성과 관찰 가능한 출력 인지 가능성 간의 트레이드오프는 무엇인가?
• RQ3 업데이트 시퀀스 길이에 따라 확장되지 않는 per-update 계산 비용으로 강한 (ε,δ)-언러닝을 제공할 수 있는가?
• RQ4 고차원 데이터에서 반복 업데이트 하에서 분할 학습 접근법이 정확도-실행 시간의 균형을 개선하는가?
• RQ5 강한 볼록성을 보장하기 위한 정규화가 삭제 보장과 모델 정확도에 어떤 영향을 미치는가?

주요 결과

• 가우시안 페널티를 사용할 때 업데이트 인덱스에 로그로 비례하는 per-update 계산으로 강한 완전한 언러닝을 달성한다.
• 볼록 또는 비강한 볼록 손실의 경우 비밀 상태를 유지하거나 강한 볼록성을 유도하는 정규화를 적용해 강한 또는 완전한 언러닝을 달성할 수 있다.
• 리저버 샘플링을 포함한 분산 PGD 접근법은 아무리 긴 업데이트 시퀀스에서도 분포 보장을 유지하고 고차원에서의 정확도-실행 시간 트레이드오프를 개선한다.
• 제안된 방법은 (ε,δ)-언러닝을 달성하며, 게시된 출력은 차등 프라이버시를 만족해 멤버십 추론 위험을 완화한다.
• 업데이트 예산, 노이즈 수준, 그리고 다양한 볼록성/매끄러움 가정 하의 결과 정확도 간의 관계를 자세히 제시하는 경계치를 제공한다.
• 이 연구는 언러닝 보장을 차등 프라이버시 및 Subsample-and-Aggregate 기법의 개념과 연결해 프라이버시 학습 분야의 맥락에 위치한다.