[논문 리뷰] Gradient Perturbation is Underrated for Differentially Private Convex Optimization

Dahua Yu, Huishuai Zhang외 3명|arXiv (Cornell University)|2019. 11. 26.

Privacy-Preserving Technologies in Data참고 문헌 29인용 수 7

한 줄 요약

이 논문은 기대 곡률 메트릭을 도입하여 미분적(privacy) 보장이 있는 볼록 최적화에서 경사하강법의 노이즈 영향을 재평가한다. 이 메트릭은 노이즈 하에서의 평균 최적화 행동을 캡처하며, 기존 방법에 비해 유용성 보장을 크게 향상시킨다. 저자들은 이론적으로도 실험적으로도 기대 곡률을 고려한 분석을 통해 경사하강법이 목적 함수 및 출력 노이즈화보다 뛰어나며, 특히 고급 병합 기법과 조합했을 때 뛰어난 성능을 보임을 입증한다.

ABSTRACT

Gradient perturbation, widely used for differentially private optimization, injects noise at every iterative update to guarantee differential privacy. Previous work first determines the noise level that can satisfy the privacy requirement and then analyzes the utility of noisy gradient updates as in the non-private case. In contrast, we explore how privacy noise affects optimization property. We show that for differentially private convex optimization, the utility guarantee of differentially private (stochastic) gradient descent is determined by an \emph{expected curvature} rather than the minimum curvature. The \emph{expected curvature}, which represents the average curvature over the optimization path, is usually much larger than the minimum curvature. By using the \emph{expected curvature}, we show that gradient perturbation can achieve a significantly improved utility guarantee that can theoretically justify the advantage of gradient perturbation over other perturbation methods. Finally, our extensive experiments suggest that gradient perturbation with the advanced composition method indeed outperforms other perturbation approaches by a large margin, matching our theoretical findings.

연구 동기 및 목표

• 기존 유용성 보장에서 경사하강법의 실증적 승리와는 달리 이론적 격차를 해결하기 위해.
• 경사하강법에서의 프라이버시 노이즈가 최적화 역학과 어떻게 상호작용하는지 분석하며, 단순한 덧셈 외부 요동으로 간주하지 않기 위해.
• 실제 노이즈 주입 하의 최적화 경로를 더 잘 반영하는 기대 곡률 기반의 새로운 이론적 프레임워크를 개발하기 위해.
• 실세계 데이터셋에서 고급 병합 기법을 사용한 경사하강법이 다른 노이즈화 방법보다 뛰어나다는 것을 실험적으로 검증하기 위해.
• 기대 곡률이 최소 곡률보다 유용성 분석에서 핵심 요소임을 입증하기 위해.

제안 방법

• 최적화 경로 동안의 평균 헤시안 노름을 정의하는 기대 곡률 개념을 도입하여, 경사 노이즈 하에서의 최적화 행동를 특성화한다.
• 기존의 최소 곡률 가정을 기대 곡률로 대체함으로써, 일반적으로 훨씬 크고 실제 최적화 진행 상황을 더 잘 반영하는 메트릭을 도입한다.
• DP-GD와 DP-SGD에 대한 새로운 유용성 경계를 도출하며, 이는 기대 곡률에 의존함을 보여 기존 최소 곡률 기반 연구에 비해 유의미한 향상을 이룬다.
• 고급 병합 정리 적용으로 프라이버시 손실을 정밀하게 추정하고, 더 낮은 노이즈 분산을 사용함으로써 유용성을 높이면서도 프라이버시를 유지한다.
• 수치적 적분을 활용해 프라이버시 손실을 정확히 추정함으로써, 보수적인 상한 근사치보다 더 낮은 노이즈 수준을 가능하게 한다.
• 학습률 감소와 기울기 클리핑을 적용해 DP-SGD의 학습 안정성과 수렴 성능을 향상시키며, 프라이빗 딥러닝의 최선의 실천 방법과 일치시킨다.

실험 결과

연구 질문

• RQ1 기존 이론적 보장은 약한 반면, 실증적으로 목적 함수 및 출력 노이즈화보다 경사하강법이 뛰어나게 작동하는 이유는 무엇인가?
• RQ2 프라이버시 노이즈와 최적화 역학 간의 상호작용을 활용해 더 날카운 유용성 경계를 도출할 수 있는가?
• RQ3 최소 곡률은 노이즈가 있는 경사 하강법에서 유용성 분석에 충분하거나 정확한 측정치인가?
• RQ4 최적화 경로 동안의 기대 곡률이 최소 곡률보다 더 나은 유용성의 대체 측정치가 될 수 있는가?
• RQ5 곡률 인식 노이즈 스케줄링과 함께 고급 병합을 사용하면 DP-ERM에서의 실증 성능이 향상되는가?

주요 결과

• 기대 곡률은 최적화 경로 동안의 평균 헤시안 노름을 나타내며, 최소 곡률보다 훨씬 크기 때문에 노이즈 하에서의 최적화 진행 상황을 더 정확히 반영한다.
• DP-GD와 DP-SGD의 이론적 유용성 경계는 최소 곡률에서 기대 곡률로 대체됨으로써 향상되어 더 날카우며 현실적인 성능 보장을 제공한다.
• 실세계 데이터셋 4종(Adult, MNIST, Real-sim, RCV1)에서의 실험 결과, 고급 병합 및 곡률 인식 노이즈를 사용한 DP-SGD는 AMP와 Output-SGD를 능가하며, Real-sim에서 최대 76.1%의 정확도와 RCV1에서 74.9%의 정확도를 기록했다.
• DP-GD는 Adult에서 80.9%, MNIST에서 88.6%의 정확도를 기록하여 AMP와 Output-SGD를 모두 능가했으며, 경사하강법의 이론적 우월성을 검증했다.
• DP-SGD와 이전 연구 간의 성능 격차는 주로 더 정밀한 프라이버시 회계와 학습률 감소 덕분이며, 이는 이전 구현에서는 사용되지 않았다.
• 이 연구는 최소 곡률에 의존하지 않는 DP-ERM에 대한 첫 번째 유용성 보장이며, 경사하강법 분석의 이론적 진전을 상징한다.