[논문 리뷰] Automatic Clipping: Differentially Private Deep Learning Made Easier and Stronger

Zhiqi Bu, Yuxiang Wang외 2명|arXiv (Cornell University)|2022. 06. 14.

Machine Learning and Algorithms인용 수 14

한 줄 요약

이 논문은 DP-SGD, DP-Adam 및 기타 최적화 방법에서 클리핑 임계값 $ R $ 를 수동으로 조정할 필요가 없도록 하는 새로운 차별적(private) 최적화 방법인 자동 클리핑(auto clipping)을 소개한다. 고정 클리핑을 단일 하이퍼파rameter $ \gamma $ 를 사용한 학습 가능한, 기울기 정규화 기반 메커니즘으로 대체함으로써, 시각 및 언어 작업 전반에서 최신 기술 수준의 정확도를 달성하면서도 프라이버시와 계산 효율성을 유지한다.

ABSTRACT

Per-example gradient clipping is a key algorithmic step that enables practical differential private (DP) training for deep learning models. The choice of clipping threshold R, however, is vital for achieving high accuracy under DP. We propose an easy-to-use replacement, called automatic clipping, that eliminates the need to tune R for any DP optimizers, including DP-SGD, DP-Adam, DP-LAMB and many others. The automatic variants are as private and computationally efficient as existing DP optimizers, but require no DP-specific hyperparameters and thus make DP training as amenable as the standard non-private training. We give a rigorous convergence analysis of automatic DP-SGD in the non-convex setting, showing that it can enjoy an asymptotic convergence rate that matches the standard SGD, under a symmetric gradient noise assumption of the per-sample gradients (commonly used in the non-DP literature). We demonstrate on various language and vision tasks that automatic clipping outperforms or matches the state-of-the-art, and can be easily employed with minimal changes to existing codebases.

연구 동기 및 목표

• 차별적(private) 딥 러닝에서 클리핑 임계값 $ R $ 의 하이퍼파rameter 조정이라는 핵심 과제를 해결한다.
• 모델 성능과 분리된 $ R $ 의 영향을 제거함으로써, $ (R, \eta) $ 의 고비용 2차원 그리드 서치가 필요 없도록 한다.
• DP-SGD, DP-Adam, DP-LAMB 등의 다양한 최적화 방법에서 자동적이고 견고하며 프라이버시를 보존하는 훈련을 가능하게 한다.
• 새로운 하이퍼파rameter $ \gamma $ 의 선택에 관계없이 모델 정확도가 안정적이고 높게 유지되도록 하여, DP 훈련을 비공개 훈련만큼 사용자 친화적으로 만든다.

제안 방법

• 각 샘플 기울기 $ \bm{g}_i $ 를 그 $ \ell_2 $-노름에 작은 상수 $ \gamma $ 를 더한 값으로 정규화하는 새로운 클리핑 메커니즘을 제안하며, 고정 클리핑 $ \texttt{Clip}(\bm{g}_i; R) $ 를 $ \frac{\bm{g}_i}{\|\bm{g}_i\| + \gamma} $ 로 대체한다.
• 이 자동 클리핑을 표준 DP 최적화 방법(예: DP-SGD, DP-Adam, DP-LAMB)에 통합하여, $ R $ 를 조정하지 않고도 종단 간 차별적(private) 훈련이 가능하도록 한다.
• 모델 성능에 영향을 주지 않으면서도 넓은 범위의 값(예: 0.001에서 10까지)에서 안정적인 성능을 보이는 단일 비민감 하이퍼파rameter $ \gamma $ 를 도입한다.
• 이론적 분석을 통해, 대칭 기울기 노이즈 가정 하에 자동 클리핑이 표준 SGD 와 동일한 渐진 수렴 속도를 유지함을 보여준다.
• 자동 클리핑은 $ \gamma $ 가 변경되어도 가중치 감소(weight decay)가 변하지 않음을 보장하여, 재매개변수화 클리핑에서 흔히 발생하는 의도치 않은 최적화 이동을 방지한다.
• 비볼록 설정에서 자동 DP-SGD 의 엄밀한 수렴 보장을 제공하며, 미약한 조건 하에 표준 SGD 와 동일한 수렴 속도를 확보함을 증명한다.

실험 결과

연구 질문

• RQ1 각 샘플 기울기 클리핑을 수동으로 $ R $ 를 조정할 필요 없이 완전히 자동화할 수 있는가?
• RQ2 클리핑 임계값 $ R $ 를 하이퍼파라미터에서 제거함으로써, 차별적(private) 딥 러닝의 실용성과 재현 가능성이 향상되는가?
• RQ3 자동 클리핑이 다양한 시각 및 언어 작업 전반에서 최신 기술 수준의 DP 모델 성능을 유지하거나 초월할 수 있는가?
• RQ4 다양한 최적화 방법(예: DP-SGD 대비 DP-Adam)에서 새로운 방법의 수렴 성능과 가중치 감소 안정성은 어떠한가?
• RQ5 새로운 하이퍼파라미터 $ \gamma $ 는 모델 성능에 민감한가, 그리고 다양한 데이터셋과 아키텍처에서 견고한 훈련을 가능하게 하는가?

주요 결과

• 자동 클리핑은 ImageNet 및 E2E 언어 모델링 작업에서 최신 기술 수준 또는 경쟁력 있는 성능을 달성하며, 수동 $ R $ 조정이 필요한 이전 방법들을 능가한다.
• ResNet18 을 사용한 ImageNet 에서, $ \gamma $ 의 값이 0.001에서 10까지 다양하게 변화하더라도 정확도가 높은 안정성을 유지하며, $ \gamma $ 가 10,000배 이상 변화하더라도 성능 저하가 최소한이다.
• 대칭 기울기 노이즈 조건 하에 자동 클리핑이 표준 SGD 와 동일한 渐진 수렴 속도를 유지함을 증명한 정리 1 및 정리 2 에서 확인된다.
• 재매개변수화 클리핑과 달리, 자동 클리핑은 $ R $ 을 최적화 과정에서 완전히 분리하여, 가중치 감소의 의도치 않은 변화를 방지하고 모델 일반화를 유지한다.
• 계산적으로 효율적이며, DP-Adam 및 DP-LAMB 와 같은 주요 DP 최적화 방법과 모두 호환되며, 아키텍처나 훈련 파이프라인의 변경 없이 적용 가능하다.
• 실험 결과 자동 클리핑은 $ (R, \eta) $ 의 고비용 2차원 그리드 서치가 필요 없음을 입증하여, 하이퍼파라미터 조정의 노력이 근본적으로 감소하면서도 높은 정확도를 유지한다.