[논문 리뷰] Differentially Private Variational Dropout

Beyza Ermiş, Ali Taylan Cemgil|arXiv (Cornell University)|2017. 11. 30.

Privacy-Preserving Technologies in Data참고 문헌 17인용 수 3

한 줄 요약

이 논문은 딥 네ural 네트워크에서 공식적인 프라이버시 보장을 제공하기 위해 변분 드롭아웃의 내재된 노이즈를 활용하는 차별적 프라이버시 보장이 있는 변분 드롭아웃(DPVD)을 제안한다. 농축된 차별적 프라이버시(zCDP)와 샘플링을 통한 프라이버시 약화를 사용함으로써, 표준 DP 및 MNIST 및 DIGITS 데이터셋에서 최신 기술 대비 낮은 프라이버시 예산 하에서도 유의미하게 향상된 정확도를 달성한다.

ABSTRACT

Deep neural networks with their large number of parameters are highly flexible learning systems. The high flexibility in such networks brings with some serious problems such as overfitting, and regularization is used to address this problem. A currently popular and effective regularization technique for controlling the overfitting is dropout. Often, large data collections required for neural networks contain sensitive information such as the medical histories of patients, and the privacy of the training data should be protected. In this paper, we modify the recently proposed variational dropout technique which provided an elegant Bayesian interpretation to dropout, and show that the intrinsic noise in the variational dropout can be exploited to obtain a degree of differential privacy. The iterative nature of training neural networks presents a challenge for privacy-preserving estimation since multiple iterations increase the amount of noise added. We overcome this by using a relaxed notion of differential privacy, called concentrated differential privacy, which provides tighter estimates on the overall privacy loss. We demonstrate the accuracy of our privacy-preserving variational dropout algorithm on benchmark datasets.

연구 동기 및 목표

• 감시 데이터를 보호하면서 모델 정확도를 유지하는 데 도전하는 문제를 해결하기 위해.
• 변분 드롭아웃의 내재된 랜덤화를 프라이버시 메커니즘으로 활용하여 프라이버시 보장을 공식화하기 위해.
• 표준 차별적 프라이버시 대신 농축된 차별적 프라이버시(zCDP)를 사용하여 반복 학습 중 누적 프라이버시 손실을 줄이기 위해.
• zCDP와 샘플링, 적응형 드롭아웃 비율을 조합하여 낮은 프라이버시 예산 하에서도 유티리티를 향상시키기 위해.
• 기준 데이터셋에서 방법을 실험적으로 검증하고 기존 DP 방법 대비 뛰어난 성능을 보여주기 위해.

제안 방법

• 각 가중치별 개별 드롭아웃 비율을 允허함으로써 정밀한 정규화 및 프라이버시 제어를 가능하게 하기 위해 변분 드롭아웃을 확장한다.
• 변분 드롭아웃의 확률적 전방 및 역방향 전파에서 발생하는 내재된 노이즈를 차별적 프라이버시의 원천으로 사용한다.
• 표준 DP보다 반복 학습 동안 누적 프라이버시 손실을 더 견고하게 제한하기 위해 농축된 차별적 프라이버시(zCDP)를 적용한다.
• 샘플링을 통한 프라이버시 약화를 활용하여 주어진 프라이버시 예산에 필요한 노이즈를 감소시킨다.
• zCDP 제약 조건을 충족하기 위해 확률적 최적화에서 기울기 클리핑과 노이즈 주입을 통합한다.
• 프라이버시 제약 조건 하에서 네트워크 가중치에 대한 사후분포를 근사하기 위해 변분 추론을 사용한다.

실험 결과

연구 질문

• RQ1 변분 드롭아웃의 내재된 노이즈가 딥 네럴 네트워크에서 차별적 프라이버시를 달성하는 데 공식적으로 활용될 수 있는가?
• RQ2 반복 학습에서 농축된 차별적 프라이버시(zCDP)를 사용할 경우 표준 차별적 프라이버시 대비 프라이버시-정확도 트레이드오프는 어떻게 향상되는가?
• RQ3 낮은 프라이버시 예산 하에서 zCDP를 사용한 변분 드롭아웃은 표준 차별적 프라이버시 학습 및 최신 기술 대비 얼마나 뛰어난 성능을 보이는가?
• RQ4 은닉 유닛 수, 학습률, 배치 크기와 같은 모델 하이퍼파rameter는 제안된 프레임워크에서 프라이버시-정확도 트레이드오프에 어떻게 영향을 미치는가?
• RQ5 제안된 방법은 실제 기준 데이터셋에서 측정 가능한 프라이버시 보장을 제공하면서도 높은 정확도를 유지할 수 있는가?

주요 결과

• DPVD-zCDP는 ε=10일 때 MNIST에서 테스트 정확도 0.9687을 달성하여 최신 기술(0.9701) 및 기타 베이스라인을 능가했다.
• ε=0.1일 때 DPVD-zCDP는 MNIST에서 0.9026, DIGITS에서 0.9038의 정확도를 기록했으며, 낮은 프라이버시 예산 하에서 SVI-zCDP(드롭아웃 없음) 및 Abadi 등과 비교해 유의미하게 뛰어난 성능을 보였다.
• 하이퍼파라미터 선택에 대해 강건한 성능을 보였으며, MNIST에서 1000개의 은닉 유닛과 600의 미니배치 크기에서 최적 성능을 기록했다.
• 에포크 수가 증가할수록 프라이버시 비용이 증가했지만, zCDP는 표준 DP보다 더 높은 내성에 견딜 수 있었으며, 100~200 에포크 사이에서 최적 성능을 기록했다.
• 기울기 클리핑 임계값 4가 가장 높은 정확도를 보였으며, 이 값 이상이 되면 노이즈가 과도해져 성능이 저하되었다.
• 더 큰 미니배치 크기(예: 600)는 노이즈의 상대적 영향을 줄여 성능을 향상시켰으며, 최적의 샘플링 빈도 ν ≈ 0.01를 기록했다.