[논문 리뷰] Scalable and Efficient Training of Large Convolutional Neural Networks with Differential Privacy

Zhiqi Bu, Jialin Mao외 1명|arXiv (Cornell University)|2022. 05. 21.

Privacy-Preserving Technologies in Data인용 수 8

한 줄 요약

이 논문은 대규모 합성곱 신경망(CNN) 및 비전 트랜스포머(ViTs)의 차별적(private) 학습에서 샘플별 기울기 클리핑을 위한 새로운 효율적인 방법인 혼합 고스트 클리핑을 소개한다. 샘플별 기울기를 명시적으로 계산할 필요 없이 메모리 및 계산 오버헤드를 줄여, 비공개 학습과 비교해 최대 3배 빠르고 메모리 비용은 1–10%에 그치는 차별적 학습을 가능하게 하며, CIFAR-10(ε=1일 때 96.7%) 및 CIFAR-100(ε=1일 때 83.0%)에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Large convolutional neural networks (CNN) can be difficult to train in the differentially private (DP) regime, since the optimization algorithms require a computationally expensive operation, known as the per-sample gradient clipping. We propose an efficient and scalable implementation of this clipping on convolutional layers, termed as the mixed ghost clipping, that significantly eases the private training in terms of both time and space complexities, without affecting the accuracy. The improvement in efficiency is rigorously studied through the first complexity analysis for the mixed ghost clipping and existing DP training algorithms. Extensive experiments on vision classification tasks, with large ResNet, VGG, and Vision Transformers, demonstrate that DP training with mixed ghost clipping adds $1\sim 10\%$ memory overhead and $<2 imes$ slowdown to the standard non-private training. Specifically, when training VGG19 on CIFAR10, the mixed ghost clipping is $3 imes$ faster than state-of-the-art Opacus library with $18 imes$ larger maximum batch size. To emphasize the significance of efficient DP training on convolutional layers, we achieve 96.7\% accuracy on CIFAR10 and 83.0\% on CIFAR100 at $ε=1$ using BEiT, while the previous best results are 94.8\% and 67.4\%, respectively. We open-source a privacy engine (\url{https://github.com/woodyx218/private_vision}) that implements DP training of CNN with a few lines of code.

연구 동기 및 목표

• 대규모 CNN의 차별적(private) 학습에서 샘플별 기울기 클리핑의 높은 계산 및 메모리 비용을 해결한다.
• 높은 모델 정확도를 확보하기 위해 필요한 큰 배치 크기를 사용할 때 발생하는 DP 학습의 확장성 한계를 극복한다.
• 강력한 프라이버시 보장을 확보하면서도 대규모 비전 모델, 특히 ResNet, VGG 및 비전 트랜스포머(ViTs)의 효율적 학습을 가능하게 한다.
• 효율적인 클리핑을 사용할 경우, 큰 DP 모델이 작은 모델보다 성능이 열 劣하지 않음을 입증하여 이전의 경험적 관찰에 도전한다.
• CNN 및 ViTs의 비전 모델에 대한 DP 학습 배포를 단순화하기 위해 실용적이고 오픈소스의 프라이버시 엔진을 제공한다.

제안 방법

• 샘플별 기울기 계산을 명시적으로 방지하기 위해 고스트 기울기와 계층별 클리핑 결정을 융합한 혼합 고스트 클리핑 기법을 제안한다.
• 공간 차원(H×W)을 기반으로 표준 클리핑과 고스트 클리핑 간의 계층별 결정 원칙을 도입하여 메모리 오버헤드를 최소화한다.
• 모든 DP 최적화기와 클리핑 함수와 호환되며, 비공개 학습 수준에 가까운 메모리 효율성을 유지한다.
• 중간 샘플별 기울기를 저장하지 않고 기울기 노름과 클리핑된 기울기를 계산하는 계산 그래프를 설계하여 메모리 프로파일을 감소시킨다.
• 특정 특징 맵만 고스트 기울기 기법을 적용하는 혼합 전략을 도입하여 정확도와 효율성의 균형을 이룬다.
• https://github.com/woodyx218/private_vision 에서 오픈소스로 공개된 프라이버시 엔진에 통합하여 CNN 및 ViTs의 즉각적인 DP 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 대규모 CNN의 DP 학습에서 샘플별 기울기 클리핑을 정확도를 희생시키지 않고 메모리 및 시간 오버헤드 측면에서 크게 개선할 수 있는가?
• RQ2 혼합 고스트 클리핑의 효율성 덕분에 VGG 및 비전 트랜스포머와 같은 더 큰 모델을 강력한 프라이버시 보장(예: ε=1) 하에 학습시킬 수 있고, 이로 인해 정확도가 향상되는가?
• RQ3 혼합 고스트 클리핑과 Opacus 또는 고스트 클리핑과 같은 기존 클리핑 방법 간의 이론적 및 경험적 복잡도 상충 관계는 어떠한가?
• RQ4 큰 DP 비전 모델이 강력한 프라이버시 제약 조건 하에서도 표준 벤치마크인 CIFAR-10 및 CIFAR-100에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 혼합 고스트 클리핑으로부터 얻는 메모리 효율성 덕분에 더 큰 배치 크기를 사용할 수 있는가? 이는 학습 속도 및 수렴에 어떤 영향을 미치는가?

주요 결과

• 혼합 고스트 클리핑은 BEiT(303M 파라미터)와 같은 큰 모델에서도 메모리 오버헤드를 10% 미만으로 줄이고 비공개 학습 대비 학습 속도 저하를 2배 이내로 유지한다.
• CIFAR-10에서 VGG19를 사용할 경우, 혼합 고스트 클리핑은 Opacus 대비 3배 빠르며 최대 배치 크기를 18배까지 확장할 수 있다.
• ε=1일 때, BEiT를 사용해 CIFAR-10에서 96.7%의 테스트 정확도, CIFAR-100에서는 83.0%의 정확도를 달성하여 이전 최신 기술 수준의 결과인 94.8% 및 67.4%를 초월한다.
• 이 방법은 고전적 비공개 학습 대비 메모리 비용이 0.3% 뿐이면서도 학습 속도가 2배 느린 ViTs, 예를 들어 CrossViT 및 BEiT를 대규모로 학습시킬 수 있다.
• 복잡도 분석을 통해 혼합 고스트 클리핑이 원칙적인 계층별 클리핑 전략을 통해 기존 방법의 높은 메모리 부담을 피함을 확인했다.
• 같은 배치 크기에서 혼합 고스트 클리핑은 다음으로 빠른 DP 알고리즘보다 1.7배 빠르며, 메모리 절약 덕분에 더 큰 배치 크기를 사용할 수 있어 최대 3배의 속도 향상을 달성한다.