[논문 리뷰] On the Convergence and Calibration of Deep Learning with Differential Privacy

Zhiqi Bu, Hua Wang외 2명|PubMed|2021. 06. 15.

Privacy-Preserving Technologies in Data참고 문헌 50인용 수 8

한 줄 요약

이 논문은 신경 장력 커널(NTK)를 사용하여 미분적 비밀성 보장(DP) 딥러닝의 연속시간 수렴 분석을 제공하며, 수렴과 校정에 영향을 주는 것은 소음 추가가 아니라 기울기 클리핑임을 밝혀낸다. 큰 클리핑 노름이 작은 클리핑 노름보다 유사한 정확도와 비밀성 확보를 유지하면서도 훨씬 더 우수한 校정 성능을 보임을 보여주며, DP 훈련에서의 핵심적 트레이드오프를 해결한다.

ABSTRACT

Differentially private (DP) training preserves the data privacy usually at the cost of slower convergence (and thus lower accuracy), as well as more severe mis-calibration than its non-private counterpart. To analyze the convergence of DP training, we formulate a continuous time analysis through the lens of neural tangent kernel (NTK), which characterizes the per-sample gradient clipping and the noise addition in DP training, for arbitrary network architectures and loss functions. Interestingly, we show that the noise addition only affects the privacy risk but not the convergence or calibration, whereas the per-sample gradient clipping (under both flat and layerwise clipping styles) only affects the convergence and calibration. Furthermore, we observe that while DP models trained with small clipping norm usually achieve the best accurate, but are poorly calibrated and thus unreliable. In sharp contrast, DP models trained with large clipping norm enjoy the same privacy guarantee and similar accuracy, but are significantly more <i>calibrated</i>. Our code can be found at https://github.com/woodyx218/opacus_global_clipping.

연구 동기 및 목표

• 경험적 관찰을 넘어서, 미분적 비밀성 보장 딥러닝의 이론적 수렴 동역학을 이해하기 위해.
• DP 훈련에서 수렴, 정확도, 校정에 영향을 주는 기울기 클리핑과 소음 추가의 영향을 분리하여 분석하기 위해.
• 클리핑 노름 선택의 영향을 분석하여 비밀성-정확도-교정 트레이드오프를 해결하기 위해.
• 경험적으로 큰 클리핑 노름이 유사한 정확도를 유지하면서 더 잘 校정된 모델을 생성함을 보여주기 위해.

제안 방법

• 기울기 클리핑과 소음 추가를 모델링하기 위해 신경 장력 커널(NTK)을 사용한 DP 훈련의 연속시간 분석을 수립한다.
• 수렴에 영향을 주는 per-sample 기울기 클리핑 조건을 이론적으로 유도하며, 소음 추가와의 차이를 명확히 한다.
• 훈련 중에 클리핑 노름을 적응적으로 조정하는 글로벌 클리핑 함수를 도입하여, 더 큰-R 단계를 통해 수렴을 향상시킨다.
• 신뢰도 다이어그램과 校정 지표를 사용하여 다양한 클리핑 노름에서 모델의 신뢰도와 실제 정확도 간의 관계를 평가한다.
• DP-AdamW와 DP-GD를 사용하여 이미지(CIFAR-10), 텍스트(SNLI, BERT), 회귀(California Housing, Wine Quality) 데이터셋에서 실험을 수행한다.
• 손실과 校정에 대한 동적 영향을 연구하기 위해, 작은 클리핑 노름과 큰 클리핑 노름을 번갈아가며 사용하는 미스업 훈련을 활용한다.

실험 결과

연구 질문

• RQ1 미분적 비밀성 보장 딥러닝에서 per-sample 기울기 클리핑은 수렴과 校정에 어떻게 영향을 주는가?
• RQ2 소음 추가와 기울기 클리핑 중 어느 것이 모델 수렴과 비밀성 위험을 결정하는 데 더 중요한가?
• RQ3 큰 클리핑 노름을 사용하면 정확도와 비밀성 보장을 유지하면서도 校정 성능을 향상시킬 수 있는가?
• RQ4 동적 클리핑 전략(예: 작은 R에서 큰 R으로 전환)은 훈련 동역학과 모델 신뢰도를 향상시킬 수 있는가?
• RQ5 작은 클리핑 노름은 높은 정확도를 보일지라도 왜 과도하게 자신감 있는, 심각하게 校정이 어긋난 모델을 초래하는가?

주요 결과

• 작은 클리핑 노름(R=0.1)에 비해 큰 클리핑 노름(R=20)은 정확도가 유사한 상황에서도 모델의 校정 성능을 크게 향상시킨다.
• 작은 클리핑 노름으로 훈련된 모델은 과도하게 자신감을 갖는다—예측된 신뢰도가 실제 정확도보다 훨씬 높다—이를 통해 심각한 校정 오류가 발생함을 시사한다.
• SNLI BERT 실험에서, 훈련의 마지막 5% 동안 큰 R을 사용한 미스업 훈련은 테스트 NLL를 1.79에서 1.08로 감소시키며 정확도를 떨어뜨리지 않고도 校정 성능을 향상시켰다.
• Wine Quality와 California Housing 회귀 과제에서, 큰 클리핑 노름은 단조로운 수렴을 이끌었고, 작은 R은 이론 예측과 같이 비단조로운 손실 행동을 보였다.
• 소음 추가는 비밀성 위험에만 영향을 주며, 수렴이나 校정에는 영향을 주지 않지만, 기울기 클리핑은 둘 다 직접적으로 영향을 준다.
• 모든 실험에서 동일한 비밀성 예산(ε=1.25, δ=1/550152)을 유지하여, 큰 R이 비밀성 보장을 약화시키지 않음을 확인했다.