[논문 리뷰] Bolt-on Differential Privacy for Scalable Stochastic Gradient Descent-based Analytics

Xi Wu, Fengan Li외 4명|arXiv (Cornell University)|2016. 06. 15.

Privacy-Preserving Technologies in Data인용 수 12

한 줄 요약

이 논문은 기존의 확장 가능한 분석 시스템(예: Bismarck)에 최소한의 오버헤드로 쉽게 통합할 수 있도록, 출력 단계에서만 노이즈를 주입하는 새로운 '볼트온' 차등적 프라이버시 방법을 제안한다. 이는 확률적 경사 하강법(SGD)에 적용되며, $L_2$-감도에 대한 새로운 분석을 도입함으로써 기존 최고 수준의 프라이빗 SGD 알고리즘보다 훨씬 높은 모델 정확도(최대 4배 높음)를 달성한다. 특히 일정 수의 데이터 루프를 반복하는 환경에서 뛰어난 성능을 보인다.

ABSTRACT

While significant progress has been made separately on analytics systems for scalable stochastic gradient descent (SGD) and private SGD, none of the major scalable analytics frameworks have incorporated differentially private SGD. There are two inter-related issues for this disconnect between research and practice: (1) low model accuracy due to added noise to guarantee privacy, and (2) high development and runtime overhead of the private algorithms. This paper takes a first step to remedy this disconnect and proposes a private SGD algorithm to address \emph{both} issues in an integrated manner. In contrast to the white-box approach adopted by previous work, we revisit and use the classical technique of {\em output perturbation} to devise a novel "bolt-on" approach to private SGD. While our approach trivially addresses (2), it makes (1) even more challenging. We address this challenge by providing a novel analysis of the $L_2$-sensitivity of SGD, which allows, under the same privacy guarantees, better convergence of SGD when only a constant number of passes can be made over the data. We integrate our algorithm, as well as other state-of-the-art differentially private SGD, into Bismarck, a popular scalable SGD-based analytics system on top of an RDBMS. Extensive experiments show that our algorithm can be easily integrated, incurs virtually no overhead, scales well, and most importantly, yields substantially better (up to 4X) test accuracy than the state-of-the-art algorithms on many real datasets.

연구 동기 및 목표

• 이론적 진전이 이루어진 차등적 프라이버시 SGD와 실제 확장 가능한 분석 시스템에서의 적용 간 격차를 해소하기 위해.
• 핵심 코드 수정이 필요한 기존 프라이빗 SGD 알고리즘의 높은 개발 및 런타임 오버헤드를 줄이기 위해.
• 실제 응용에서 흔한 엄격한 프라이버시 예산과 제한된 데이터 루프 수 조건 하에서 모델 정확도를 향상시키기 위해.
• 기존 RDBMS 내 SGD 시스템에 핵심 경사 하강 업데이트 논리 변경 없이 차등적 프라이버시를 쉽게 통합하기 위해.
• 스케일러빌리티를 유지하면서도 강력한 프라이버시 보장을 달성하는 이론적으로 탄탄하고 실용적인 접근을 제공하기 위해.

제안 방법

• 이 방법은 출력 편향 기법을 사용하여 SGD 구현을 블랙박스로 간주하고, 최종 모델 파라미터에만 노이즈를 추가한다.
• 동일한 프라이버시 예산 하에서 노이즈 크기의 경계를 더 좁게 만들 수 있도록, SGD의 $L_2$-감도에 대한 새로운 분석을 도입한다.
• 기울기 연산자의 확장 성질을 활용하여 수렴 성능을 향상시키며, 특히 일정 수의 데이터 루프만 가능한 경우에 유의미한 성능 향상을 이룬다.
• 기존의 SGD 엔진에 영향을 주지 않고, 확장 가능한 RDBMS 내 SGD 분석 시스템인 Bismarck에 알고리즘을 통합한다.
• 학습의 마지막 단계에서만 한 번의 노이즈 주입을 수행함으로써 반복적인 노이즈 샘플링을 방지하고, 런타임 오버헤드를 최소화한다.
• 미니배치 크기 및 $L_2$ 정규화와 같은 하이퍼파rameter는 그리드 서치를 통해 최적화하며, 루프 수에 대해 거의 민감하지 않다.

실험 결과

연구 질문

• RQ1 SGD의 핵심 학습 로직을 수정하지 않고도 '볼트온' 차등적 프라이버시 메커니즘을 설계할 수 있는가?
• RQ2 일정 수의 데이터 루프 조건에서 SGD의 $L_2$-감도를 더 엄밀하게 분석하여, 정확도를 향상시킬 수 있는가?
• RQ3 일정 수의 데이터 루프만 허용되는 상황에서 출력 편향 기법이 프라이빗 SGD에 효과적으로 적용될 수 있는가?
• RQ4 블랙박스, 후행 노이즈 주입 방식이 화이트박스, 반복적 노이즈 주입 방식보다 정확도와 시스템 오버헤드 측면에서 뛰어나게 성능을 내는가?
• RQ5 이러한 방법은 Bismarck와 같은 실제 RDBMS 내 분석 플랫폼에 성능 저하 없이 효율적으로 통합될 수 있는가?

주요 결과

• 제안된 볼트온 방법은 실제 데이터셋에서 SCS13 및 BST14보다 최대 4배 높은 테스트 정확도를 달성했으며, 일정 수의 데이터 루프 조건에서도 성능이 뛰어나다.
• 실행 시간 오버헤드가 거의 없고, 확장성도 잘 유지되어 기존 SGD 시스템의 성능 특성을 그대로 유지한다.
• 기존 연구 대비 더 안정적이고 조정이 쉬우며, 핵심 하이퍼파rameter로는 미니배치 크기와 $L_2$ 정규화만 필요로 한다.
• 새로운 $L_2$-감도 분석 덕분에 동일한 프라이버시 예산 하에서도 더 나은 수렴 성능을 보이며, 특히 낮은 루프 수 환경에서 유의미한 향상을 이룬다.
• Bismarck에의 통합은 원활했으며, 핵심 SGD 엔진에 대한 코드 변경 없이 이루어져 실용적 타당성이 뚜렷하게 입증되었다.
• 일단 루프에 대해 이론적 수렴이 증명되었지만, 실제로 다중 루프 환경에서도 강력한 경험적 수렴 성능를 보이며, BST14조차도 뛰어넘는 성능을 보였다.