[논문 리뷰] Bounding Training Data Reconstruction in Private (Deep) Learning

Chuan Guo, Brian Karrer외 2명|arXiv (Cornell University)|2022. 01. 28.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 논문은 비차별적 기계학습에서 학습 데이터 복원 공격에 대비한 새로운 의미적 프라이버시 보장을 제공한다. 레니 미분 프라이버시(RDP)와 피셔 정보 유출(FIL) 계량 모두가 적대자의 복원에 대한 평균 제곱오차(MSE)에 강력한 하한을 제공함을 입증하여, 특히 FIL 기반 접근에서 고성능 모델에서도 대부분의 학습 샘플이 강력하게 보호됨을 보여준다. 이는 RDP만을 사용할 경우보다 MSE 하한이 수개월 수준으로 훨씬 날카럽게 좁혀진다.

ABSTRACT

Differential privacy is widely accepted as the de facto method for preventing data leakage in ML, and conventional wisdom suggests that it offers strong protection against privacy attacks. However, existing semantic guarantees for DP focus on membership inference, which may overestimate the adversary's capabilities and is not applicable when membership status itself is non-sensitive. In this paper, we derive the first semantic guarantees for DP mechanisms against training data reconstruction attacks under a formal threat model. We show that two distinct privacy accounting methods -- Renyi differential privacy and Fisher information leakage -- both offer strong semantic protection against data reconstruction attacks.

연구 동기 및 목표

• 데이터 복원 공격(DRA)에 대한 의미적 프라이버시 보장의 격차를 해소하기 위해, 이는 구성원 식별 공격보다 더 강력한 공격 방식임을 확인한다.
• 적대자가 비차별적 모델에서 학습 데이터를 얼마나 잘 복원할 수 있는지에 대한 이해할 수 있고 정량화된 프라이버시 보장을 제공한다.
• 기존의 프라이버시 계량 방법인 RDP와 FIL이 구성원 여부가 민감하지 않은 경우에도 DRA에 대해 의미 있는 보호를 제공할 수 있음을 보여준다.
• 실증적으로 FIL이 RDP보다 더 날카운데 현실적인 프라이버시 경계를 제공함을 입증하며, 특히 개별 학습 샘플에 대해 더욱 유의미하다.
• 비차별적 확률적 경사 하강법(private SGD)에 피셔 정보 유출(FIL) 계량을 확장하고, 개별 샘플의 프라이버시 유출 정도를 추정하는 데의 유용성을 입증한다.

제안 방법

• $(2,\epsilon)$-레니 미분 프라이버시 하에서 적대자의 복원에 대한 기대 평균 제곱오차(MSE)에 하한을 도출하여, 이 값이 $\Theta(1/(e^{\epsilon}-1})$ 비례함을 보여준다.
• 비차별적 학습에 대한 피셔 정보 유출(FIL)의 새로운 응용을 제안하며, 피셔 정보 매트릭스(FIM)를 사용해 개별 샘플의 프라이버시 유출 정도를 추정한다.
• 랜덤 좌표 샘플링과 부분집합 경계를 활용해 FIM을 근사하는 차별 가능한 FIL(dFIL) 계량기를 제안하여 딥 러닝 모델에 적용 가능하게 한다.
• 크래머-라오 하한을 활용해 FIM의 역행렬이 비편향 추정기의 최소 달성 가능한 MSE와 연결됨을 보여주며, 프라이버시 보장을 가능하게 한다.
• MNIST와 CIFAR-10에서 RDP 및 dFIL 경계를 사용해 프라이버시-유용성 트레이드오프를 평가하기 위해 하이퍼파rameter에 대한 격자 탐색을 실시한다.
• 실증적으로 dFIL 추정치와 실제 CIFAR-10 이미지의 복원 취약도 간 상관관계를 분석하여 경계의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 레니 미분 프라이버시(RDP)는 데이터 복원 공격에 대해 의미 있는 의미적 보장을 제공할 수 있는가?
• RQ2 피셔 정보 유출(FIL)은 비차별적 학습 모델에 대해 RDP보다 더 날카운데 이해하기 쉬운 프라이버시 경계를 제공할 수 있는가?
• RQ3 dFIL가 추정한 개별 샘플의 프라이버시 유출 정도는 실제 데이터 복원 공격에 대한 취약도와 어떻게 상관관계가 있는가?
• RQ4 기존의 비차별적 학습 알고리즘은 높은 $\epsilon$ 조건에서도 개별 학습 샘플에 대해 정보를 얼마나 유출하는가?
• RQ5 dFIL 계량기는 딥 러닝 모델, 예를 들어 비차별적 확률적 경사 하강법에서 강력한 프라이버시-유용성 트레이드오프를 지원할 수 있는가?

주요 결과

• RDP 기반의 MSE 하한은 $\Theta(1/(e^{\epsilon}-1})$ 비례로 스케일링되며, 작은 $\epsilon$ 조건에서는 복원 오차가 높게 유지되어 프라이버시가 잘 보호됨을 보여준다.
• dFIL 기반의 MSE 하한은 유사한 모델 정확도에서 RDP 하한보다 수개월 수준으로 훨씬 높게 유지되며, 이는 훨씬 강력한 프라이버시 보장을 의미한다.
• MNIST에서는 dFIL 기반 프라이버시 한도를 넘어서기 전까지 97%의 테스트 정확도를 달성할 수 있으며, 이는 고성능에서도 강력한 보호 기능을 의미한다.
• CIFAR-10에서는 64%의 테스트 정확도에서도 dFIL 경계가 여전히 무시할 수 없을 정도로 높은 수준($\texttt{MSE} \geq 0.1$)을 유지하지만, RDP 경계는 더 이르게 한도를 초과한다.
• 고정된 모델 정확도 조건에서도 훈련 세트 전체의 중앙값 dFIL 값이 여전히 높게 유지되며, 대부분의 샘플이 복원 공격으로부터 안전함을 보여준다.
• 높은 dFIL 값을 가진 샘플은 일반적으로 분류가 어려운 이미지이며, 낮은 dFIL 샘플은 일반적이고 쉽게 식별 가능한 이미지임을 확인하여, dFIL과 복원 취약도 간의 상관관계를 확인한다.