[논문 리뷰] Differentially Private Bayesian Neural Networks on Accuracy, Privacy and Reliability

Qiyiwen Zhang, Zhiqi Bu외 2명|arXiv (Cornell University)|2021. 07. 18.

Privacy-Preserving Technologies in Data참고 문헌 60인용 수 4

한 줄 요약

이 논문은 차별적 프라이버시를 통한 불확실성 정량화와 강력한 프라이버시 보장을 동시에 구현하는 세 가지 다른적 프라이버시 베이지안 신경망(DP-BNNs)—DP-SGLD, DP-BBP, DP-MC Dropout—을 제안한다. DP-SGLD는 강력한 프라이버시 제약 조건 하에서도 최고 수준의 정확도와 신뢰할 수 있는 불확실성 캘리브레이션을 달성하며, DP-SGD와 DP-SGLD 사이의 새로운 등가성 관계를 규명하고 두 방법 간의 이질적인 하이퍼파rameter 영향을 강조한다.

ABSTRACT

Bayesian neural network (BNN) allows for uncertainty quantification in prediction, offering an advantage over regular neural networks that has not been explored in the differential privacy (DP) framework. We fill this important gap by leveraging recent development in Bayesian deep learning and privacy accounting to offer a more precise analysis of the trade-off between privacy and accuracy in BNN. We propose three DP-BNNs that characterize the weight uncertainty for the same network architecture in distinct ways, namely DP-SGLD (via the noisy gradient method), DP-BBP (via changing the parameters of interest) and DP-MC Dropout (via the model architecture). Interestingly, we show a new equivalence between DP-SGD and DP-SGLD, implying that some non-Bayesian DP training naturally allows for uncertainty quantification. However, the hyperparameters such as learning rate and batch size, can have different or even opposite effects in DP-SGD and DP-SGLD. Extensive experiments are conducted to compare DP-BNNs, in terms of privacy guarantee, prediction accuracy, uncertainty quantification, calibration, computation speed, and generalizability to network architecture. As a result, we observe a new tradeoff between the privacy and the reliability. When compared to non-DP and non-Bayesian approaches, DP-SGLD is remarkably accurate under strong privacy guarantee, demonstrating the great potential of DP-BNN in real-world tasks.

연구 동기 및 목표

• 차별적 프라이버시와 베이지안 신경망 간 격차를 메우기 위해 사전 확률적 정량화를 가능하게 하는 비밀 보장의 개인화된 딥 러닝을 개발한다.
• 다양한 메커니즘을 사용해 가중치 불확실성을 모델링하는 세 가지 다른 DP-BNN 아키텍처—DP-SGLD, DP-BBP, DP-MC Dropout—을 개발하고 비교한다.
• DP-BNN에서 프라이버시(ε, δ), 예측 정확도, 그리고 신뢰성(캘리브레이션 및 불확실성 정량화) 간의 상호 상관관계를 분석한다.
• DP-SGD와 DP-SGLD 간의 이론적 및 실증적 연결을 조사하여, DP-SGLD가 하이퍼파ram터 민감도가 다른 DP-SGD의 하위 클래스임을 규명한다.
• 다양한 프라이버시 예산 하에서 분류 및 회귀 과제에 걸쳐 DP-BNN의 확장성, 계산 효율성, 그리고 강건성을 평가한다.

제안 방법

• 스토하스틱 그래디언트 랭그비안 다이내믹스를 차별적 프라이버시와 융합하여 DP-SGLD를 제안하며, 노이즈가 섞인 그래디언트를 사용해 사후 분포에서 샘플링한다.
• 베이즈-바이-백프로프를 차별적 프라이버시 제약 조건 하에서 변분 사후 파라미터 최적화에 적응시켜 DP-BBP를 도입함으로써 엔드 투 엔드로 가능한 미분 가능한 불확실성 모델링을 가능하게 한다.
• 드롭아웃 정규화를 이면적 프라이버시 학습 프레임워크에 통합하여 DP-MC Dropout을 개발하며, 예측 불확실성을 추정하기 위해 확률적 순방향 전파를 사용한다.
• 모든 학습 반복 동안 프라이버시 손실을 정확히 추적하고 조합하기 위해 μ-GDP(Gaussian differential privacy)를 활용해 프라이버시 회계를 수행한다.
• 신경망 가중치에 정규 prior를 사용하고, 사후 예측 분산을 통해 불확실성을 평가하며, 이를 지식 기반(모델) 불확실성과 데이터 기반 불확실성으로 분해한다.
• 모든 방법에 동일한 기반 최적화기인 DP-SGD를 사용하며, 노이즈를 그래디언트(DP-SGLD), 파라미터(DP-BBP), 또는 순방향 전파(DP-MC Dropout)에 주입한다.

실험 결과

연구 질문

• RQ1 다양한 DP-BNN 아키텍처(DP-SGLD, DP-BBP, DP-MC Dropout)는 프라이버시 보장, 예측 정확도, 불확실성 정량화 측면에서 어떻게 비교되는가?
• RQ2 DP-SGD와 DP-SGLD 간의 이론적 관계는 무엇이며, 학습률 및 배치 크기와 같은 하이퍼파ram터는 두 방법의 성능에 어떻게 다른 영향을 미치는가?
• RQ3 차별적 프라이버시가 베이지안 신경망의 불확실성 캘리브레이션과 예측 신뢰성에 얼마나 영향을 미치는가?
• RQ4 DP-SGD는 자연스럽게 불확실성 정량화를 제공하는 베이지안 방법으로 해석될 수 있는가? 만약 그렇다면 어떤 조건에서 가능한가?
• RQ5 특히 강력한 프라이버시 제약 조건 하에서, 사전 분포의 포함이 DP-BNN의 캘리브레이션 및 불확실성 추정에 어떤 영향을 미치는가?

주요 결과

• 동일한 프라이버시 예산(ε=4.21, δ=1/250) 하에서 DP-SGLD는 DP-BBP 및 DP-MC Dropout보다 유의미하게 높은 예측 정확도를 달성하며, 이질적 회귀에서 평균 제곱 오차가 0.510이다.
• DP-SGLD는 DP 하에서도 높은 품질의 불확실성 정량화를 유지하며, 사후 및 데이터 불확실성 추정의 열악한 열화가 최소화된다. 반면 DP-MC Dropout은 사후 불확실성이 크게 증가하고 평균 예측이 불안정하다.
• DP-BBP와 DP-MC Dropout은 비-프라이버시 성능이 뛰어나지만, DP 하에서는 성능 저하가 뚜렷하게 나타나, 변분 및 드롭아웃 기반 불확실성 메커니즘이 노이즈 주입에 민감함을 보여준다.
• DP-SGD와 DP-SGLD 간의 새로운 이론적 등가성 관계가 확립되었으며, DP-SGLD가 DP-SGD의 하위 클래스임을 보여주지만, 하이퍼파ram터 효과가 다름을 확인했다—예를 들어, 더 큰 배치 크기는 DP-SGLD에서는 프라이버시를 향상시키지만 DP-SGD에는 영향을 주지 않는다.
• DP-SGLD에서 정규 사전 분포의 사용은 캘리브레이션을 향상시키고 신뢰성 격차를 감소시켜, 사전 정보가 프라이버시로 인한 캘리브레이션 오류를 완화할 수 있음을 시사한다.
• DP-SGLD는 아키텍처 및 과제 전반에 걸쳐 뛰어난 일반화 능력과 신뢰성을 보이며, 강력한 프라이버시 제약 조건 하에서 비-베이지안 및 비-프라이버시 기준선보다 정확도와 불확실성 캘리브레이션 측면에서 뛰어난 성능을 보였다.