[논문 리뷰] Differentially Private Dropout

Beyza Ermiş, Ali Taylan Cemgil|arXiv (Cornell University)|2017. 11. 30.

Privacy-Preserving Technologies in Data참고 문헌 16인용 수 3

한 줄 요약

이 논문은 농도 분포의 내재된 노이즈를 활용하여 집중적 차별적 프라이버시(zCDP)를 통한 공식적인 프라이버시 보장을 제공하는 새로운 기법인 차별적 프라이버시 드롭아웃(DPD)을 소개한다. zCDP 조합과 서브샘플링에 의한 프라이버시 약화를 결합함으로써, 표준 DP 및 최첨단 기법에 비해 MNIST 및 DIGITS 벤치마크에서 낮은 프라이버시 예산 조건에서도 정확도가 크게 향상되었다.

ABSTRACT

Large data collections required for the training of neural networks often contain sensitive information such as the medical histories of patients, and the privacy of the training data must be preserved. In this paper, we introduce a dropout technique that provides an elegant Bayesian interpretation to dropout, and show that the intrinsic noise added, with the primary goal of regularization, can be exploited to obtain a degree of differential privacy. The iterative nature of training neural networks presents a challenge for privacy-preserving estimation since multiple iterations increase the amount of noise added. We overcome this by using a relaxed notion of differential privacy, called concentrated differential privacy, which provides tighter estimates on the overall privacy loss. We demonstrate the accuracy of our privacy-preserving dropout algorithm on benchmark datasets.

연구 동기 및 목표

• 드롭아웃을 사용해 훈련된 딥 네ural 네트워크에 대해 내재된 랜덤라이제이션을 활용하여 공식적인 프라이버시 보장을 제공하고자 한다.
• 반복적 훈련에서 누적 프라이버시 손실 문제를 해결하고자 하며, 표준 차별적 프라이버시 대신 집중적 차별적 프라이버시(zCDP)를 사용하고자 한다.
• 훈련 반복 과정에서 프라이버시 예산을 효율적으로 할당하여 차별적 프라이버시 딥러닝의 유틸리티-프라이버시 트레이드오프를 향상시키고자 한다.
• 기존에 정규화를 위해 사용되던 드롭아웃이 동시에 모델 정확도를 향상시키고 측정 가능한 차별적 프라이버시를 제공할 수 있음을 보여주고자 한다.

제안 방법

• 개별 가중치별로 고유한 드롭아웃 비율을 사용하는 가우시안 드롭아웃을 적용하여 베이지안적 해석과 내재된 노이즈 주입을 가능하게 한다.
• 다중 훈련 반복 동안 누적 프라이버시 손실을 날카롭게 제한하기 위해 zCDP 조합 분석을 적용한다.
• 서브샘플링을 통한 프라이버시 약화를 활용하여 동일한 프라이버시 보장을 위해 필요한 추가 노이즈의 양을 감소시킨다.
• 경사 하강법(SGD)과 통합되며, 민감도를 제어하기 위해 기울기 클리핑을 사용한다.
• 표준 신경망 아키텍처와 호환되며, 아키텍처 변경이 필요하지 않다.
• 프라이버시 회계를 위해 모멘트 앤트로포메터 기법을 사용하며, 이는 zCDP와 밀접하게 관련되어 있다.

실험 결과

연구 질문

• RQ1 드롭아웃의 내재된 노이즈가 딥 네럴 네트워크에서 차별적 프라이버시 보장을 공식적으로 활용할 수 있는가?
• RQ2 표준 DP에 비해 zCDP를 사용하면 반복적 훈련에서 프라이버시 예산 누적을 더 효율적으로 관리할 수 있는가?
• RQ3 낮은 예산 설정에서 드롭아웃이 정확도를 향상시키면서도 프라이버시를 유지하는 데 어느 정도 기여하는가?
• RQ4 서브샘플링과 zCDP의 조합이 프라이버시를 손상시키지 않으면서도 노이즈 요구량을 어떻게 줄일 수 있는가?

주요 결과

• DPD-zCDP는 ε=10일 때 MNIST에서 97.18%, DIGITS에서 95.18%의 테스트 정확도를 달성하여 표준 DP 및 최첨단 기법을 뛰어넘었다.
• ε=0.5일 때 DPD-zCDP는 MNIST에서 92.05%, DIGITS에서 91.25%의 정확도를 기록하여 Abadi 등(2016) 및 SGLD-zCDP보다 뚜렷이 뛰어났다.
• 하이퍼파라미터 변화에 대해 뛰어난 내성성을 보였으며, 최적의 성능은 1000개의 히든 유닛, 200에포크, 미니배치 크기 600에서 관찰되었다.
• zCDP 덕분에 프라이버시 예산 효율성이 향상되어 표준 DP보다 낮은 노이즈 수준으로도 동일한 프라이버시 보장을 유지할 수 있었다.
• 낮은 프라이버시 예산 조건에서도 모델 정확도가 유지되었으며, ε=0.5일 때 DPD-zCDP는 기준 DP 방법보다 2.5–3%의 정확도 우위를 보였다.