[논문 리뷰] Towards Probabilistic Verification of Machine Unlearning

David Sommer, Liwei Song외 2명|arXiv (Cornell University)|2020. 03. 09.

Adversarial Robustness in Machine Learning참고 문헌 52인용 수 36

한 줄 요약

이 논문은 백도어 데이터 중독을 이용한 MLaaS에서 기계적 학습 잊기(machine unlearning) 여부를 확률적 프레임워크로 검증하고, 검증을 가설 검정으로 형식화하며, 실용적인 참여 수준에서 높은 신뢰도의 탐지를 보여준다.

ABSTRACT

The right to be forgotten, also known as the right to erasure, is the right of individuals to have their data erased from an entity storing it. The status of this long held notion was legally solidified recently by the General Data Protection Regulation (GDPR) in the European Union. Consequently, there is a need for mechanisms whereby users can verify if service providers comply with their deletion requests. In this work, we take the first step in proposing a formal framework to study the design of such verification mechanisms for data deletion requests -- also known as machine unlearning -- in the context of systems that provide machine learning as a service (MLaaS). Our framework allows the rigorous quantification of any verification mechanism based on standard hypothesis testing. Furthermore, we propose a novel backdoor-based verification mechanism and demonstrate its effectiveness in certifying data deletion with high confidence, thus providing a basis for quantitatively inferring machine unlearning. We evaluate our approach over a range of network architectures such as multi-layer perceptrons (MLP), convolutional neural networks (CNN), residual networks (ResNet), and long short-term memory (LSTM), as well as over 5 different datasets. We demonstrate that our approach has minimal effect on the ML service's accuracy but provides high confidence verification of unlearning. Our proposed mechanism works even if only a handful of users employ our system to ascertain compliance with data deletion requests. In particular, with just 5% of users participating, modifying half their data with a backdoor, and with merely 30 test queries, our verification mechanism has both false positive and false negative ratios below $10^{-3}$. We also show the effectiveness of our approach by testing it against an adaptive adversary that uses a state-of-the-art backdoor defense method.

연구 동기 및 목표

• 삭제 요청의 준수 여부를 정량화하기 위해 머신 언링 검증을 가설 검정 문제로 형식화한다.
• 프라이버시 중심 사용자가 데이터의 일부를 오염시켜 검증 가능한 흔적을 생성하는 백도어 기반 메커니즘을 도입한다.
• 다른 서버 동작(적응적/비적응적) 하에서 검증 신뢰도에 대한 이론적 보장과 닫힌 형식 해를 제공한다.
• 제한된 참여와 테스트 쿼리로 높은 신뢰도를 보이며 다수의 데이터셋과 아키텍처에 걸쳐 이 방법을 실증적으로 검증한다.

제안 방법

• 삭제된 데이터 시나리오와 삭제되지 않은 데이터 시나리오를 비교하는 가설 검정으로 기계 언러닝 검증 모델링.
• 사용자 특정 백도어 중독을 사용하여 중독된 데이터로 학습된 모델에서 탐지 가능한 흔적을 생성한다.
• H1(비삭제)하의 백도어 성공 확률 p와 H0(삭제)하의 백도어 성공 확률 q를 정의한다.
• 이항 분포와 검정 임계값에 기초하여 삭제 신뢰도 rho_A,alpha(s,n)의 닫힌 형태 표현식을 도출한다.
• 제한된 질의로 p와 q를 추정하는 것을 분석하고 단일 사용자 시나리오에 대한 완화 규정을 제공한다.
• 다섯 개 데이터셋(EMNIST, FEMNIST, CIFAR10, ImageNet, AG News)과 네 가지 아키텍처(MLP, CNN, ResNet, LSTM)에 대해 평가한다.

실험 결과

연구 질문

• RQ1 백도어 기반 전략이 MLaaS에서 데이터 삭제의 높은 신뢰도 검증을 가능하게 할 수 있는가?
• RQ2 낮은 거짓 양성/거짓 음성 비율을 달성하기 위해 필요한 백도어 테스트 샘플 수(n)와 참여 비율(f_user)은 얼마인가?
• RQ3 적응적 서버 방어가 백도어에 대해 검증 성능에 어떤 영향을 미치는가?
• RQ4 다양한 데이터셋과 모델 아키텍처 전반에 결과가 일반화되는가?
• RQ5 여러 프라이버시 애호가가 함께 검증을 향상시키되 모델 유용성에 해를 끼치지 않도록 하는 방법은?

주요 결과

• 제안된 백도어 기반 메커니즘은 50% 오염된 데이터와 30개의 테스트 질의에서 거짓 양성/거짓 음성 비율을 각각 1e-3 이하로 낮춘다.
• 5개 데이터셋과 4개 아키텍처 전반에서 모델 정확도를 유지하면서 높은 검증 신뢰도를 보여준다.
• 백도어 방어를 활용하는 적응적 서버는 백도어 성공률을 줄이지만 여전히 높은 신뢰도의 언러닝 검증이 가능하다.
• 단 5%의 참여 사용자라도 프레임워크가 효과적이며 다수의 사용자를 결합하면 검증 성능이 향상된다.
• 본 논문은 삭제 신뢰도에 대한 닫힌 형식의 해를 제공하고 실제 상황에서 p와 q의 실용적 추정에 대해 논의한다.