[논문 리뷰] Bayesian Differential Privacy for Machine Learning

Aleksei Triastcyn, Boi Faltings|arXiv (Cornell University)|2019. 01. 28.

Privacy-Preserving Technologies in Data참고 문헌 30인용 수 9

한 줄 요약

이 논문은 데이터 분포를 고려한 베이지안 미분 페라이시티(BDP)를 소개한다. BDP는 데이터 가능성 모델링을 통해 노이즈를 감소시켜 더 날카운트한 프라이버시 보장을 얻고 모델 정확도를 높인다. 실험 결과, BDP는 MNIST에서 ε를 2.2에서 0.95로, CIFAR-10에서 8.0에서 0.76로 줄여 최신 기술 수준의 프라이버시 경계를 달성했으며, 높은 분류 정확도와 더 빠른 수렴 속도를 유지한다.

ABSTRACT

Traditional differential privacy is independent of the data distribution. However, this is not well-matched with the modern machine learning context, where models are trained on specific data. As a result, achieving meaningful privacy guarantees in ML often excessively reduces accuracy. We propose Bayesian differential privacy (BDP), which takes into account the data distribution to provide more practical privacy guarantees. We also derive a general privacy accounting method under BDP, building upon the well-known moments accountant. Our experiments demonstrate that in-distribution samples in classic machine learning datasets, such as MNIST and CIFAR-10, enjoy significantly stronger privacy guarantees than postulated by DP, while models maintain high classification accuracy.

연구 동기 및 목표

• 기존의 미분 페라이시티(DP)는 최악의 경우를 가정함으로써 실생활의 머신러닝 시나리오에서 과도한 노이즈를 유발하는 실용적 한계를 해결하기 위해.
• 일반적인 데이터 분포를 반영하는 프라이버시 프레임워크를 개발하여 일반적인 데이터 포인트에 대해 더 의미 있고 해석 가능한 프라이버시 보장을 제공하기 위해.
• 모멘츠 앤트로피스트(MA)를 일반화하고 더 날카운트한, 분포 기반의 프라이버시 경계를 제공하는 프라이버시 회계 방법을 설계하기 위해.
• 외부 분포 샘플에 대비한 강건성을 확보하면서도 내부 분포 데이터에 대해 강력한 프라이버시 보장을 유지하기 위해.
• BDP가 표준 DP보다 훨씬 낮은 프라이버시 손실 파rameter(ε)로 더 높은 모델 정확도와 더 빠른 학습을 가능하게 함을 경험적으로 검증하기 위해.

제안 방법

• 모든 입력을 동일하게 취급하는 대신 데이터 생성 분포 μ(x)에 조건부로 프라이버시 보장을 제공하는 (ε,δ)-DP의 개선 버전으로 베이지안 미분 페라이시티(BDP)를 제안한다.
• 프라이버시 손실 랜덤 변수(PLRV) 기반의 프라이버시 회계 프레임워크를 도입하며, 확률 이론에서 유도된 농도 경계를 사용해 일반적인 데이터 포인트에 대한 (εμ, δμ)를 추정한다.
• 평탄한 사전 분포와 최대 엔트로피 원칙을 활용한 베이지안 매개변수 추정을 통해 유한한 데이터 샘플에서 프라이버시 손실 통계를 추정하며, 알려지지 않은 예측의 리스크를 과소평가하는 것을 최소화한다.
• 스토하스틱 그래디언트 디센트(SGD)에서 클리핑과 가우시안 노이즈를 사용할 때 효율적이고 날카운트한 프라이버시 회계를 가능하게 하는 BDP를 위한 고급 복합 정리(advanced composition theorem)를 유도한다.
• 기울기의 노름을 C로 클리핑하고 분산 C²σ²의 노이즈를 추가하는 DP-SGD에 BDP를 적용하지만, 데이터 분포에 따라 노이즈를 캘리브레이션함으로써 총 노이즈를 감소시킨다.
• 학습 세트와 테스트 세트 간의 기울기 쌍별 거리 분석을 통해 프라이버시 비용 추정기의 유출 가능성을 검증하였으며, 통계적으로 유의미한 차이가 없음을 확인했다.

실험 결과

연구 질문

• RQ1 데이터 분포 정보를 통합함으로써 미분 페라이시티를 머신러닝에 더 실용적으로 만들 수 있는가?
• RQ2 데이터 가능성 모델링이 모델 유틸리티를 희생시키지 않고 더 날카운트하고 해석 가능한 프라이버시 보장을 제공하는가?
• RQ3 모멘츠 앤트로피스트를 일반화하고 분포 기반인 프라이버시 회계 방법을 개발할 수 있는가?
• RQ4 BDP는 표준 DP에 비해 필요한 노이즈를 얼마나 줄이며, 이는 모델 정확도와 수렴 속도에 어떤 영향을 미치는가?
• RQ5 BDP의 프라이버시 비용 추정기는 학습 데이터에 대한 정보를 泄露하는가?

주요 결과

• MNIST에서 BDP는 표준 DP의 프라이버시 손실 파rameter ε를 2.2에서 0.95로 줄여 프라이버시-유용성 트레이드오프를 크게 향상시켰다.
• CIFAR-10에서 BDP는 ε를 8.0에서 0.76으로 줄여 복잡한 데이터셋에 대해 상당한 프라이버시 보장 향상을 보였다.
• BDP 모델은 단지 50 에포크 만에 MNIST에서 96%의 테스트 정확도를 달성했고, 표준 DP-SGD는 더 높은 노이즈 수준으로 인해 수백 개의 에포크가 필요했다.
• 프라이버시 비용 추정기에서 학습 데이터에 대한 유의미한 정보 유출이 없음을 t-검정과 레비너의 검정(Levene’s test)을 통해 확인했으며, p > 0.05였다.
• 내부 분포 데이터 포인트의 99.999%에 대해 BDP는 표준 DP보다 더 강력한 프라이버시 보장을 제공하며, ε가 항상 1 이하로 유지된다.
• BDP는 딥러닝에서 최신 기술 수준의 프라이버시 경계를 달성했으며, 더 날카운트한 프라이버시와 더 높은 모델 정확도, 더 빠른 수렴 속도를 결합한다.