[논문 리뷰] Exploring the Limits of Differentially Private Deep Learning with Group-wise Clipping

Jiyan He, Xuechen Li외 7명|arXiv (Cornell University)|2022. 12. 03.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 비밀성 보장이 있는 딥러닝에서 계산 효율성과 프라이버시-유용성 트레이드오프를 향상시키기 위해 그룹 단위 클리핑—특히 레이어별 및 장치별 클리핑—을 도입한다. 적응형 임계값을 적용하고 백프로파게이션 내부에 클리핑을 통합함으로써, 비공개 학습과 유사한 메모리 및 시간 효율성을 달성하면서도 제약된 학습 에포크 수 조건 하에서 평판 클리핑보다 정확도가 뛰어나며, ε=1일 때 GPT-3의 프라이버시 보장된 피니테이닝을 가능하게 하여 비공개 GPT-2 피니테이닝보다 뛰어난 성능을 달성한다.

ABSTRACT

Differentially private deep learning has recently witnessed advances in computational efficiency and privacy-utility trade-off. We explore whether further improvements along the two axes are possible and provide affirmative answers leveraging two instantiations of \emph{group-wise clipping}. To reduce the compute time overhead of private learning, we show that \emph{per-layer clipping}, where the gradient of each neural network layer is clipped separately, allows clipping to be performed in conjunction with backpropagation in differentially private optimization. This results in private learning that is as memory-efficient and almost as fast per training update as non-private learning for many workflows of interest. While per-layer clipping with constant thresholds tends to underperform standard flat clipping, per-layer clipping with adaptive thresholds matches or outperforms flat clipping under given training epoch constraints, hence attaining similar or better task performance within less wall time. To explore the limits of scaling (pretrained) models in differentially private deep learning, we privately fine-tune the 175 billion-parameter GPT-3. We bypass scaling challenges associated with clipping gradients that are distributed across multiple devices with \emph{per-device clipping} that clips the gradient of each model piece separately on its host device. Privately fine-tuning GPT-3 with per-device clipping achieves a task performance at $ε=1$ better than what is attainable by non-privately fine-tuning the largest GPT-2 on a summarization task.

연구 동기 및 목표

• 비밀성 보장 딥러닝이 비공개 학습과 유사한 메모리 및 시간 효율성을 달성할 수 있는지 조사하기.
• 더 큰 사전학습 모델을 활용하여 프라이버시 보장 학습의 프라이버시-유용성 트레이드오프를 향상시키기.
• GPT-3와 같은 대규모 모델의 분산 장치 간 프라이버시 보장 피니테이닝에서의 확장성 문제 해결하기.
• 고정된 학습 에포크 제약 조건 하에서 적응형 그룹 단위 클리핑이 표준 평판 클리핑과 비교해 성능을 동등하거나 초월할 수 있는지 보여주기.

제안 방법

• 백프로파게이션 중 각 신경망 레이어의 그래디언트를 별도로 클리핑하는 레이어별 클리핑을 도입하여 메모리 및 시간 오버헤드를 감소시킨다.
• 학습 중에 추정된 적응형 클리핑 임계값을 레이어별로 적용하여 고정 임계값보다 프라이버시-유용성 트레이드오프를 향상시킨다.
• GPT-3와 같은 대규모 모델을 위한 장치별 클리핑을 제안하며, 각 장치가 자신의 로컬 모델 파라미터 그래디언트를 독립적으로 클리핑하여 장치 간 그래디언트 노름 통신을 피한다.
• DP-SGD에 그룹 단위 클리핑을 통합하여 클리핑 및 노이즈 주입 과정을 개선함으로써 개별 예측 그래디언트가 아닌 그룹화된 그래디언트(레이어 또는 모델 조각)를 대상으로 작동하도록 한다.
• 메모리 비용을 최소화하면서 정확도를 유지하기 위해 적응형 임계값 설정을 위해 이중 백프로파게이션 방식을 사용하여 개별 예측 그래디언트 노름을 추정한다.
• 다양한 프라이버시 예산(ε) 조건 하에서 RoBERTa 및 GPT-3와 같은 대규모 모델을 비밀성 보장 조건 하에서 피니테이닝하기 위해 이 방법을 적용하고 성능을 평가한다.

실험 결과

연구 질문

• RQ1 비밀성 보장 딥러닝이 비공개 학습과 유사한 메모리 및 시간 효율성을 달성할 수 있는가?
• RQ2 적응형 그룹 단위 클리핑이 표준 평판 클리핑보다 프라이버시-유용성 트레이드오프를 향상시킬 수 있는가?
• RQ3 장치별 클리핑이 GPT-3와 같이 매우 대규모인 모델의 효과적인 프라이버시 보장 피니테이닝을 가능하게 하는가?
• RQ4 더 큰 사전학습 모델로 확장하면 비밀성 보장 피니테이닝의 성능이 향상되는가?

주요 결과

• 고정된 학습 에포크 제약 조건 하에서, RoBERTa-base 및 RoBERTa-large 모델에서 적응형 레이어별 클리핑이 평판 클리핑과 동등하거나 이를 초월하는 정확도를 확보하며, ε=8일 때 더 높은 정확도를 달성한다.
• RoBERTa-base의 경우, 적응형 레이어별 클리핑은 ε=8 및 E=30 조건에서 92.87%의 정확도를 기록하여 동일 조건에서 평판 클리핑의 92.10%를 초월한다.
• 장치별 클리핑을 통해 175B 파라미터를 가진 GPT-3 모델을 ε=1 조건에서 프라이버시 보장 피니테이닝할 수 있었으며, 요약 작업에서 비공개 GPT-2 최대 모델의 피니테이닝 성능을 뛰어넘는 결과를 얻었다.
• 제안된 레이어별 클리핑 방법은 많은 실용적 워크플로우에서 비공개 학습과 동일한 메모리 효율성과 거의 동일한 업데이트 속도를 확보하여, DP-SGD의 계산 오버헤드를 크게 감소시켰다.
• 학습된 임계값을 사용한 적응형 레이어별 클리핑은 메모리나 시간 비용을 증가시키지 않으면서도 유용성을 향상시켰으며, 이는 동적 임계값을 가진 그룹 단위 클리핑이 평판 클리핑을 능가할 수 있음을 보여준다.