[논문 리뷰] Tempered Sigmoid Activations for Deep Learning with Differential Privacy

Nicolas Papernot, Abhradeep Thakurta외 3명|arXiv (Cornell University)|2020. 07. 28.

Privacy-Preserving Technologies in Data인용 수 26

한 줄 요약

이 논문은 차등적 프라이버시를 고려한 딥러닝에서 성능을 향상시키기 위해 온도 조절 시그모이드 활성화 함수—특히 유계 활성화 함수의 일족—을 제안한다. 폭발하는 활성화를 억제하고 기울기 클리핑 손실을 줄임으로써, 온도 조절 시그모이드는 수렴 속도를 높이고 프라이버시-정확도 트레이드오프를 크게 향상시킨다. 이는 DP-SGD를 사용할 때도 훈련 절차를 수정하지 않고도 MNIST(98.1%), FashionMNIST(86.1%), CIFAR10(66.2%)에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Because learning sometimes involves sensitive data, machine learning algorithms have been extended to offer privacy for training data. In practice, this has been mostly an afterthought, with privacy-preserving models obtained by re-running training with a different optimizer, but using the model architectures that already performed well in a non-privacy-preserving setting. This approach leads to less than ideal privacy/utility tradeoffs, as we show here. Instead, we propose that model architectures are chosen ab initio explicitly for privacy-preserving training. To provide guarantees under the gold standard of differential privacy, one must bound as strictly as possible how individual training points can possibly affect model updates. In this paper, we are the first to observe that the choice of activation function is central to bounding the sensitivity of privacy-preserving deep learning. We demonstrate analytically and experimentally how a general family of bounded activation functions, the tempered sigmoids, consistently outperform unbounded activation functions like ReLU. Using this paradigm, we achieve new state-of-the-art accuracy on MNIST, FashionMNIST, and CIFAR10 without any modification of the learning procedure fundamentals or differential privacy analysis.

연구 동기 및 목표

• 비한계적 활성화 함수인 표준 ReLU 활성화 함수가 기울기 클리핑 효과로 인해 차등적 프라이버시 딥러닝에서 성능이 열 劣하는 문제를 해결하기 위해.
• 초기부터 프라이버시 보존 훈련을 고려해 모델 아키텍처를 명시적으로 설계함으로써 DP-SGD의 프라이버시-정확도 트레이드오프를 향상시키기 위해.
• 유계 활성화 함수인 온도 조절 시그모이드가 클리핑과 노이즈 주입 하에서 기울기 신호를 더 잘 유지할 수 있음을 보여주어 더 높은 유틸리티를 달성할 수 있음을 입증하기 위해.
• 비공개 모델을 후행적으로 수정하는 것이 아니라, 프라이빗 학습을 위해 다시 평가되어야 할 아키텍처 선택—특히 활성화 함수—이 존재함을 보여주기 위해.
• 온도 조절 시그모이드를 프라이빗 딥러닝의 우월한 기본 활성화 함수로 정립하여, 다양한 벤치마크에서 ReLU를 초월하는 성능을 보이기 위해.

제안 방법

• 온도 조절 시그모이드로 불리는 유계 활성화 함수의 일반적인 가족을 도입하며, 이는 $ \sigma_T(x) = \frac{1}{1 + e^{-x/T}} $ 로 정의되며, 여기서 $ T $ 는 온도를 제어하고 출력을 유계로 만든다.
• 온도 조절 시그모이드 가족을 사용해 활성화 크기를 제한함으로써, DP-SGD 하에서 훈련 중 기울기 폭발 위험을 줄인다.
• 온도 파rameter $ T $ 와 DP-SGD의 클리핑 노름 사이의 관계를 분석하여, 온도 조절 시그모이드가 클리핑 메커니즘과 자연스럽게 일치함을 보여준다.
• 기울기 클리핑과 가우시안 노이즈를 적용한 DP-SGD를 사용하지만, ReLU 대신 온도 조절 시그모이드를 도입하여 클리핑과 노이즈 주입으로 인한 신호 손실을 줄인다.
• 학습률, 배치 크기, 옵티마이저, 에포크 수 등의 초모수를 철저히 검색하며, 비공개 학습 조건에 특화된 최적화를 수행한다.
• MNIST, FashionMNIST, CIFAR10에서 동일한 프라이버시 예산($ \varepsilon, \delta $) 하에서 ReLU와 온도 조절 시그모이드(예: tanh)의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 비한계적 활성화 함수인 ReLU가 기울기 클리핑과 노이즈로 인해 차등적 프라이버시 딥러닝에서 성능을 어떻게 열 劣하게 만드는가?
• RQ2 유계 활성화 함수인 온도 조절 시그모이드가 DP-SGD에서 기울기 클리핑과 노이즈의 부정적 영향을 줄일 수 있는가?
• RQ3 온도 조절 시그모이드의 온도 파rameter와 DP-SGD의 클리핑 노름 사이의 관계는 무엇인가?
• RQ4 온도 조절 시그모이드를 기본 활성화 함수로 사용할 경우, 표준 벤치마크에서 ReLU보다 더 나은 프라이버시-정확도 트레이드오프를 달성할 수 있는가?
• RQ5 활성화 함수와 같은 아키텍처 선택을 프라이버시 보존 훈련을 위해 초기부터 설계할 수 있는가, 아니면 비공개 모델을 후행적으로 수정하는 방식보다 성능이 뛰어나게 할 수 있는가?

주요 결과

• 온도 조절 시그모이드는 $ \varepsilon = 2.93 $ 인 DP-SGD 하에서 MNIST에서 98.1%의 테스트 정확도를 달성했으며, ReLU 기반 모델이 달성하는 96.6%보다 뛰어나다.
• FashionMNIST에서는 $ \varepsilon = 2.7 $ 인 조건에서 제안된 방법이 86.1%의 정확도를 기록했고, ReLU 기반 모델의 81.9%보다 뚜렷한 향상이 있었다.
• CIFAR10에서는 온도 조절 시그모이드를 사용한 모델이 $ \varepsilon = 7.53 $ 인 조건에서 66.2%의 정확도를 달성했으며, ReLU 기반 모델의 61.6%를 뛰어넘었다.
• 모든 세 벤치마크에서 성능 향상이 일관되게 나타나, 온도 조절 시그모이드가 프라이빗 딥러닝에 널리 효과적임을 시사한다.
• 성능 향상의 이유는 기울기 클리핑과 노이즈로 인한 신호 손실 감소에 기인한다. 유계 활성화 함수는 기울기 폭발을 방지하고 더 많은 유용한 정보를 유지한다.
• 초모수 최적화가 매우 중요하다: 학습률은 비공개 학습 조건에 맞게 재최적화되어야 하며, 이 경우 아답티브 옵티마이저인 Adam이 SGD를 능가하지 못한다.