[논문 리뷰] Practical Privacy Filters and Odometers with Rényi Differential Privacy and Applications to Differentially Private Deep Learning

Mathias Lécuyer|arXiv (Cornell University)|2021. 03. 02.

Privacy-Preserving Technologies in Data참고 문헌 8인용 수 8

한 줄 요약

이 논문은 차등적 비밀유지 딥러닝에서 적응형 비밀유지 예산 할당을 가능하게 하기 위해 레니-차등적 비밀유지(Rényi Differential Privacy, RDP)를 사용한 실용적인 프라이버시 필터 및 오도미터를 소개한다. 기존 작업보다 더 작은 상수를 사용하여 더 날카운트한 프라이버시 회계를 달성함으로써 실시간으로 노이즈와 배치 크기를 조정하고 조기 정지(early stopping)를 가능하게 하였다. 이로 인해 고정된 비밀유지 예산 하에서 CIFAR-10 및 ImageNet에서 최대 2.5% 높은 정확도를 달성하였고, 피니튜닝 중 비밀유지 손실이 최대 75% 감소하였다.

ABSTRACT

Differential Privacy (DP) is the leading approach to privacy preserving deep learning. As such, there are multiple efforts to provide drop-in integration of DP into popular frameworks. These efforts, which add noise to each gradient computation to make it DP, rely on composition theorems to bound the total privacy loss incurred over this sequence of DP computations. However, existing composition theorems present a tension between efficiency and flexibility. Most theorems require all computations in the sequence to have a predefined DP parameter, called the privacy budget. This prevents the design of training algorithms that adapt the privacy budget on the fly, or that terminate early to reduce the total privacy loss. Alternatively, the few existing composition results for adaptive privacy budgets provide complex bounds on the privacy loss, with constants too large to be practical. In this paper, we study DP composition under adaptive privacy budgets through the lens of Rényi Differential Privacy, proving a simpler composition theorem with smaller constants, making it practical enough to use in algorithm design. We demonstrate two applications of this theorem for DP deep learning: adapting the noise or batch size online to improve a model's accuracy within a fixed total privacy loss, and stopping early when fine-tuning a model to reduce total privacy loss.

연구 동기 및 목표

• 기존의 구성 정리(Composition Theorems)가 고정된 비밀유지 예산을 요구하여 적응형 학습 전략을 방해하는 실용적 한계를 해결하기 위함.
• 강력한 비밀유지 보장을 유지하면서도 학습 중 노이즈와 배치 크기를 동적으로 조정할 수 있는 효율적인 프라이버시 필터 및 오도미터를 개발하기 위함.
• 모델 성능을 훼손하지 않으면서 피니튜닝 시나리오에서 조기 정지를 가능하게 하여 총 비밀유지 손실을 줄이기 위함.
• 실세계 실험을 통해 RDP 기반의 구성이 적응형 DP 딥러닝에 실용적으로 적용될 수 있음을 보여주기 위함.
• DP 딥러닝 프레임워크에서 이론적 비밀유지 구성과 실질적 구현 간 격차를 메우기 위함.

제안 방법

• 차등적 비밀유지의 구성 정리에서 상수를 줄이고 프라이버시 회계를 단순화하기 위해 레니-차등적 비밀유지(Rényi Differential Privacy, RDP)를 활용하여 적응형 환경에서의 실용적 적용을 가능하게 한다.
• 추가 비용 없이도 고정된 총 비밀유지 손실 범위 내에서 적응형 예산 할당이 가능한 프라이버시 필터를 설계한다.
• 학습 중 누적 비밀유지 손실에 대한 러unning 상한을 제공하는 프라이버시 오도미터를 구축하여 조기 정지를 지원한다.
• 내재된 필터 설계와 지수적으로 증가하는 필터를 사용하여 이전 작업에서의 최적의 구성 속도를 재현하면서도 효율성을 향상시킨다.
• DP-SGD의 기울기 계산에 RDP 구성 적용을 통해 학습 중 비밀유지 손실을 정밀하고 효율적으로 추적할 수 있도록 한다.
• 모델 성능에 기반해 시간이 지남에 따라 노이즈 표준편차를 감소시키는 적응 정책을 적용하여 고정된 비밀유지 예산 하에서 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 적응형 학습에서 추가 비용 없이도 RDP 기반으로 프라이버시 필터를 구성할 수 있는가? 이는 학습 중 동적 예산 할당을 가능하게 하는가?
• RQ2 실용적인 프라이버시 오도미터를 설계할 수 있는가? 이는 조기 정지를 지원하고 적응형 예산 하에서 비밀유지 손실에 대한 날카운트한 러닝 상한을 제공하는가?
• RQ3 고정된 비밀유지 예산 하에서 적응형 노이즈 스케일링과 조기 정지는 DP 딥러닝에서 모델 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 실제 딥러닝 환경에서 RDP 기반의 구성이 기존 $(\epsilon,\delta)$-DP 구성 정리보다 더 날카운트한 프라이버시 회계를 달성할 수 있는가?
• RQ5 적응형 예산 할당은 성능을 희생시키지 않고 피니튜닝 중 총 비밀유지 손실을 얼마나 줄일 수 있는가?

주요 결과

• 제안된 프라이버시 필터는 고정된 비밀유지 손실 예산 하에서 학습 중 노이즈와 배치 크기 조정을 추가 비용 없이 가능하게 하여, $\epsilon = 5.76$ 일 때 CIFAR-10에서 2.5% 이상 높은 정확도를 달성하였다.
• 프라이버시 오도미터를 사용하여 피니튜닝 중 조기 정지를 적용함으로써, 20번째 에포크에 정지함으로써 총 비밀유지 손실을 $\epsilon = 5.76$ 에서 $\epsilon = 4.7$ 으로 감소시켰다.
• 노이즈를 $\sigma = 2$ 에서 $\sigma = 1$ 으로 감소시키는 적응 정책을 적용한 결과, 단 8 에포크 만에 80% 정확도를 달성하였고, 비적응 학습 대비 비밀유지 손실이 75% 감소하였다($\epsilon = 1.45$).
• 적응 정책은 최종 레이어 피니튜닝에서도 성능을 유지하여 다양한 학습 환경에 광범위하게 적용 가능함을 보여주었다.
• RDP 기반 오도미터 구조는 최적의 구성 속도를 달성하며, 대규모 비밀유지 예산을 가진 딥러닝 환경에서 효율적이고 실시간의 프라이버시 회계를 가능하게 한다.
• 결과적으로 RDP는 실용적이고 효율적이며 유연한 프라이버시 회계를 가능하게 하여, DP 제약 하에서 온라인 아키텍처 검색 및 동적 하이퍼파ram터 튜닝과 같은 새로운 알고리즘 설계를 해방시켰다.