[논문 리뷰] Differentially Private Bayesian Learning on Distributed Data

Mikko Heikkilä, Eemil Lagerspetz외 4명|arXiv (Cornell University)|2017. 03. 03.

Privacy-Preserving Technologies in Data참고 문헌 28인용 수 15

한 줄 요약

이 논문은 분산 데이터를 위한 차별적(private) 베이지안 학습 프레임워크를 제안하며, 보안 다중 당사자 계산(DCA)과 가우시안 기반 노이즈 주입을 결합하여 효율적이고 프라이버시를 보장하는 추론을 가능하게 한다. 이 방법은 단일 신뢰할 수 있는 집계자 설정과 유사한 거의 최적의 정확도를 달성하면서도 데이터 크기와 참여자 수에 따라 효율적으로 확장되며, 최소한의 프라이버시 비용으로 선형 회귀 작업에서 실용성을 입증한다.

ABSTRACT

Many applications of machine learning, for example in health care, would benefit from methods that can guarantee privacy of data subjects. Differential privacy (DP) has become established as a standard for protecting learning results. The standard DP algorithms require a single trusted party to have access to the entire data, which is a clear weakness. We consider DP Bayesian learning in a distributed setting, where each party only holds a single sample or a few samples of the data. We propose a learning strategy based on a secure multi-party sum function for aggregating summaries from data holders and the Gaussian mechanism for DP. Our method builds on an asymptotically optimal and practically efficient DP Bayesian inference with rapidly diminishing extra cost.

연구 동기 및 목표

• 기존의 차별적(private) 머신러닝 방법이 전체 데이터에 대한 액세스가 가능한 단일의 신뢰할 수 있는 당사자가 필요로 하는 한계를 해결하기 위해.
• 각 클라이언트가 데이터의 일부만 소유하는 분산 환경에서 개인의 프라이버시를 보존하면서 차별적(private) 베이지안 추론을 가능하게 하기 위해.
• 분산 집계로 인해 추가로 도입되는 노이즈를 최소화하여 학습된 모델의 유효성(utility)을 보장하기 위해.
• 보안 다중 당사자 계산과 차별적(private) 베이지안 추론을 결합한 실용적이고 효율적이며 증명 가능한 프라이버시 보장을 갖춘 프레임워크를 개발하기 위해.

제안 방법

• 개별 데이터를 드러내지 않고 분산된 클라이언트 간의 충분통계(sum of sufficient statistics)의 합을 계산하기 위해 보안 다중 당사자 계산(DCA) 프로토콜을 사용한다.
• 집계자 수준에서 충분통계의 합에 노이즈를 주입하여 (ϵ, δ)-차별적(private) 보장을 위한 가우시안 기반 메커니즘을 적용한다.
• 단일 노드가 개별 기여를 재구성할 수 없도록 M개의 독립적인 컴퓨팅 노드를 활용한 비밀 공유 기법을 사용한다.
• 노이즈의 정확한 상쇄를 가능하게 하기 위해 고정소수점 산술(fixed-point arithmetic)을 사용하여 합 집계 과정에서 노이즈 분포를 보장한다.
• 분산 환경에서의 데이터 스케일링을 위한 비공개 정규화 절차를 도입하여 프라이버시 보장을 유지한다.
• 점점 최적화되는 충분통계 편향 방법(SSP)과 분산 노이즈 주입을 결합하여 통계적 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 신뢰할 수 있는 집계자가 없는 완전히 분산된 환경에서 차별적(private) 베이지안 학습을 효과적으로 수행할 수 있는가?
• RQ2 프라이버시를 유지하면서도 분산 DP 학습에서 노이즈 분산을 낮출 수 있는 방법은 무엇인가?
• RQ3 베이지안 추론에서 DP 합 집계를 위해 보안 다중 당사자 계산을 사용할 경우 성능 오버헤드는 얼마나 되는가?
• RQ4 신뢰할 수 있는 집계자 기반 기준과 비교할 때 분산 DP 방법의 모델 정확도와 프라이버시 예산 효율성은 어떻게 되는가?
• RQ5 프라이버시 보장을 해치지 않으면서도 분산 환경에서 비공개 데이터 정규화를 달성할 수 있는가?

주요 결과

• 분산 DP 베이지안 학습 방법은 신뢰할 수 있는 집계자 기반 기준과 거의 구분되지 않는 예측 성능을 달성하며, 정확도에 심각한 저하가 없음을 확인했다.
• 실행 시간은 클라이언트 수와 특성 수에 따라 약간 증가하나, Spark 기반 프로토타입에서 양호한 실용적 확장성을 보였다.
• 실제로 분산 환경에서 도입된 추가 노이즈는 무시할 만할 정도로 작으며, 결과적으로 신뢰할 수 있는 집계자 설정과 거의 동일하게 나타났다.
• 비공개 정규화 절차가 성공적으로 분산 환경에서 구현되어 충분통계 편향 방법을 완전한 프라이버시 보장 하에 사용할 수 있게 되었다.
• SSP 방법의 渐近 최적성(asymptotic optimality)을 유지하였으며, 참여자 수가 증가함에 따라 비공개 추론 성능에 수렴함을 확인했다.
• 대칭 암호화와 고정소수점 산술의 사용으로, 히든 암호화를 요구하지 않는 효율적이고 저오버헤드의 보안 계산이 가능했다.