[논문 리뷰] Opacus: User-Friendly Differential Privacy Library in PyTorch

Ashkan Yousefpour, Igor Shilov외 10명|arXiv (Cornell University)|2021. 09. 25.

Privacy-Preserving Technologies in Data참고 문헌 13인용 수 23

한 줄 요약

Opacus는 최소한의 코드 변경만으로 딥러닝 모델을 미분적 보호를 사용해 훈련할 수 있도록 해주는 사용자 친화적이고 고성능의 PyTorch 라이브러리입니다. 이는 벡터화된 연산을 통해 샘플별 기울기를 효율적으로 계산함으로써 마이크로배치의 성능 오버헤드를 피하고, 기존 프레임워크보다 빠르고 메모리 효율성이 뛰어나며, 어텐션과 RNN을 포함한 다양한 레이어를 지원합니다.

ABSTRACT

We introduce Opacus, a free, open-source PyTorch library for training deep learning models with differential privacy (hosted at opacus.ai). Opacus is designed for simplicity, flexibility, and speed. It provides a simple and user-friendly API, and enables machine learning practitioners to make a training pipeline private by adding as little as two lines to their code. It supports a wide variety of layers, including multi-head attention, convolution, LSTM, GRU (and generic RNN), and embedding, right out of the box and provides the means for supporting other user-defined layers. Opacus computes batched per-sample gradients, providing higher efficiency compared to the traditional "micro batch" approach. In this paper we present Opacus, detail the principles that drove its implementation and unique features, and benchmark it against other frameworks for training models with differential privacy as well as standard PyTorch.

연구 동기 및 목표

• 딥러닝 모델에 대한 미분적 보호를 PyTorch 기반 머신러닝 파이프라인에 쉽게 통합하는 것.
• 기존 마이크로배치 방식의 성능 저하 문제를 해결하기 위해 샘플별 기울기 계산을 벡터화함으로써 DP-SGD의 성능을 향상시키는 것.
• 다양한 딥러닝 레이어를 기본적으로 지원하는 유연하고 확장 가능하며 효율적인 프레임워크를 제공하는 것.
• 내장된 Rényi 미분적 보호 계정 기반으로 실시간 비밀 보호 예산 추적과 조기 중단을 가능하게 하는 것.
• 기존 DP 훈련 프레임워크보다 속도와 메모리 효율성에서 뛰어나면서도 표준 PyTorch 워크플로우와의 호환성을 유지하는 것.

제안 방법

• 모델, 옵티마이저, 데이터로더를 래핑하여 DP 훈련을 단일 메서드 호출로 가능하게 하는 PrivacyEngine 클래스를 도입합니다.
• PyTorch의 autograd 엔진을 샘플 수준의 기울기 추적 기능을 추가하여 확장한 GradSampleModule을 사용해 샘플별 기울기를 효율적으로 계산합니다.
• 마이크로배치 대신 벡터화된 계산을 사용하여 하드웨어 활용도를 유지하고 훈련 처리량을 향상시킵니다.
• 옵티마이저 래퍼에서 노이즈 주입과 기울기 클리핑을 구현하여 파rameter 업데이트 수준에서 DP 보장을 보장합니다.
• 자동 예산 추적과 조기 중단을 지원하는 Rényi 미분적 보호(RDP)를 통한 비밀 보호 계정 기능을 구현합니다.
• 잘 정의된 인터페이스를 통해 커스텀 레이어와 계정기 확장성을 제공하여 고급 머신러닝 워크플로우와의 통합을 가능하게 합니다.

실험 결과

연구 질문

• RQ1 최소한의 코드 변경으로 PyTorch 훈련에 미분적 보호를 통합할 수 있을까? 동시에 고성능을 유지할 수 있을까?
• RQ2 DP-SGD에서 마이크로배치 대비 벡터화된 샘플별 기울기 계산 방식이 속도와 메모리 효율성 측면에서 어떻게 비교되는가?
• RQ3 Opacus는 어텐션과 RNN 레이어를 포함한 복잡한 딥러닝 아키텍처에 대해 얼마나 넓은 범위로 미분적 보호를 지원할 수 있는가?
• RQ4 Opacus는 TensorFlow Privacy와 BackPACK과 같은 기존 DP 훈련 프레임워크와 비교해 성능가능한가?
• RQ5 Opacus는 커스텀 컴iles된 DP-SGD 구현체와 비교해 경쟁 가능한 처리량과 메모리 효율성을 달성할 수 있는가?

주요 결과

• Opacus는 마이크로배치를 피함으로써 훈련 오버헤드를 줄여 마이크로배치 기반 구현체보다 높은 처리량을 달성합니다.
• 표준 모델 기준으로 Opacus는 비-DP 모드에서 최대 CUDA 메모리 사용량의 56.5% ± 8.7%를 사용하고, DP 모드에서는 57.5% ± 14.9%를 사용하여 메모리 팽창이 최소한임을 보여줍니다.
• 컨볼루션 레이어의 경우 Opacus는 DP 모드에서 최대 할당 메모리의 6.15% ± 0.03%만 사용하며, 이는 최적화된 메모리 처리 덕분에 비-DP 모드보다 훨씬 낮은 수준입니다.
• Opacus는 다양한 모델과 데이터셋에서 기존 프레임워크인 TensorFlow Privacy와 BackPACK보다 훈련 속도와 메모리 효율성에서 뛰어난 성능을 보입니다.
• Opacus는 커스텀 JIT-컴파일된 DP-SGD 구현체와 비교해 처리량과 메모리 효율성 측면에서 경쟁 가능한 성능을 달성합니다.
• Opacus는 다중 헤드 어텐션, LSTM, GRU, 임bedding 레이어를 포함한 다양한 레이어를 기본적으로 지원하여 광범위한 적용 가능성을 제공합니다.