[논문 리뷰] On the Convergence of Deep Learning with Differential Privacy.

Zhiqi Bu, Hua Wang외 2명|arXiv (Cornell University)|2021. 06. 15.

Privacy-Preserving Technologies in Data참고 문헌 35인용 수 7

한 줄 요약

이 논문은 신경장핵핵심(NTK) 프레임워크를 사용하여 비차별적(private) 딥러닝의 수렴 분석을 제시하며, DP-GD에서 수렴이 일관되게 0 손실로 햖थ하게 보장하는 새로운 클리핑 방법인 글로벌 클리핑을 도입한다. 이는 비차별적 경량화 기반의 수렴이 기울기 흐름 근사에서 노이즈의 영향을 받지 않음을 보여주며, 이론과 실제에서 모두 지역 클리핑보다 글로벌 클리핑이 더 우수함을 입증한다. 특히 캘리브레이션된 분류기 학습에서 두드러진 성능 향상을 보인다.

ABSTRACT

In deep learning with differential privacy (DP), the neural network achieves the privacy usually at the cost of slower convergence (and thus lower performance) than its non-private counterpart. This work gives the first convergence analysis of the DP deep learning, through the lens of training dynamics and the neural tangent kernel (NTK). Our convergence theory successfully characterizes the effects of two key components in the DP training: the per-sample clipping (flat or layerwise) and the noise addition. Our analysis not only initiates a general principled framework to understand the DP deep learning with any network architecture and loss function, but also motivates a new clipping method -- the global clipping, that significantly improves the convergence while preserving the same privacy guarantee as the existing local clipping. In terms of theoretical results, we establish the precise connection between the per-sample clipping and NTK matrix. We show that in the gradient flow, i.e., with infinitesimal learning rate, the noise level of DP optimizers does not affect the convergence. We prove that DP gradient descent (GD) with global clipping guarantees the monotone convergence to zero loss, which can be violated by the existing DP-GD with local clipping. Notably, our analysis framework easily extends to other optimizers, e.g., DP-Adam. Empirically speaking, DP optimizers equipped with global clipping perform strongly on a wide range of classification and regression tasks. In particular, our global clipping is surprisingly effective at learning calibrated classifiers, in contrast to the existing DP classifiers which are oftentimes over-confident and unreliable. Implementation-wise, the new clipping can be realized by adding one line of code into the Opacus library.

연구 동기 및 목표

• 신경장핵핵심(NTK) 프레임워크 하에서 비차별적 딥러닝의 수렴 행동을 이해하는 것.
• DP 훈련에서 샘플별 클리핑과 노이즈 추가가 수렴에 미치는 영향을 분석하는 것.
• 어떠한 네트워크 아키텍처와 손실 함수에도 적용 가능한 원칙적이고 일반화 가능한 프레임워크를 개발하는 것.
• DP-GD에서 수렴이 일관되게 0 손실로 향하도록 보장하는 새로운 클리핑 전략인 글로벌 클리핑을 제안하는 것.
• 기존 DP 방법보다 더 캘리브레이션된 분류기를 학습할 수 있음을 경험적으로 검증하는 것.

제안 방법

• 무한소 학습률을 가진 기울기 흐름 근사(gradient flow limit)를 사용하여 DP 훈련 동역학을 분석함으로써 클리핑과 노이즈의 영향을 분리한다.
• 샘플별 클리핑과 NTK 행렬 사이의 정확한 수학적 연결을 확립하여, 최적화 도중 클리핑이 커널에 어떻게 영향을 주는지 보여준다.
• 모든 샘플과 레이어에 걸쳐 기울기를 종합적으로 클리핑하는 글로벌 클리핑을 제안하며, 이는 지역 클리핑(샘플별 또는 레이어별)보다 우월한 대안이다.
• 글로벌 클리핑 하에서 DP-GD가 수렴이 일관되게 0 손실로 향함을 보이며, 이는 지역 클리핑에서는 보장되지 않는 성질이다.
• 이론적 프레임워크를 DP-Adam과 같은 다른 최적화 알고리즘으로 확장하여 광범위한 적용 가능성을 입증한다.
• Opacus 라이브러리에 단 한 줄의 코드 변경만으로 글로벌 클리핑을 구현함으로써 실용적 적용이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 NTK 프레임워크 하에서 샘플별 클리핑은 DP 딥러닝의 수렴에 어떻게 영향을 미치는가?
• RQ2 비차별적 보호를 위해 도입된 노이즈가 기울기 흐름 영역에서 수렴을 방해하는가?
• RQ3 DP-GD에서 수렴이 일관되게 0 손실로 향하도록 보장하는 새로운 클리핑 전략을 설계할 수 있는가?
• RQ4 글로벌 클리핑은 지역 클리핑과 비교해 수렴성과 모델 캘리브레이션 측면에서 어떻게 다른가?
• RQ5 기울기 흐름에서의 이론적 통찰을 DP-Adam과 같은 실용적 최적화 알고리즘으로 확장할 수 있는가?

주요 결과

• 기울기 흐름 근사에서 DP 최적화기의 노이즈 수준은 수렴에 영향을 주지 않으며, 이는 수렴이 노이즈 스케일과 독립적임을 의미한다.
• 글로벌 클리핑을 사용한 DP-GD는 0 손실로의 일관된 수렴을 보장하지만, 기존의 지역 클리핑을 사용한 DP-GD는 이 성질을 위반할 수 있다.
• 글로벌 클리핑은 동일한 개인정보 보호 보장을 유지하면서도 지역 클리핑보다 훨씬 더 빠른 수렴 속도를 보인다.
• 경험적으로, 글로벌 클리핑으로 훈련된 모델은 분류 및 회귀 과제에서 뛰어난 성능을 보이며, 특히 캘리브레이션된 분류기 학습에서 두드러진 성능 향상을 보인다.
• 제안된 글로벌 클리핑 방법은 Opacus 라이브러리에 단 한 줄의 코드 변경만으로 쉽게 구현 가능하여 널리 보급될 수 있다.
• NTK 기반 이론적 프레임워크는 임의의 아키텍처와 손실 함수에 적용 가능한 일반적이고 원칙적인 DP 훈련 동역학 이해를 제공한다.