[논문 리뷰] Large Scale Transfer Learning for Differentially Private Image Classification

Harsh Mehta, Abhradeep Thakurta외 2명|arXiv (Cornell University)|2022. 05. 06.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 논문은 대규모 전이 학습이 ImageNet에서 차별적(private) 이미지 분류 성능을 크게 향상시킨다는 것을 보여줍니다. JFT-300M/4B와 같은 거대한 공공 데이터셋에서 비전 트랜스포머를 사전학습한 후, LAMB 옵timizer를 사용하여 전체 배치 단일 스텝으로 최종 레이어만 미세조정하고, 거의 영점에 가까운 초기화를 적용함으로써, ε ∈ [4,10], δ = 10⁻⁶의 넓은 비밀유지 예산 범위에서 상태최고(SOTA)의 81.7% 정확도를 달성합니다. 이는 강력한 비밀유지 보장을 유지하면서도 계산 비용을 크게 줄였습니다.

ABSTRACT

Differential Privacy (DP) provides a formal framework for training machine learning models with individual example level privacy. In the field of deep learning, Differentially Private Stochastic Gradient Descent (DP-SGD) has emerged as a popular private training algorithm. Unfortunately, the computational cost of training large-scale models with DP-SGD is substantially higher than non-private training. This is further exacerbated by the fact that increasing the number of parameters leads to larger degradation in utility with DP. In this work, we zoom in on the ImageNet dataset and demonstrate that, similar to the non-private case, pre-training over-parameterized models on a large public dataset can lead to substantial gains when the model is finetuned privately. Moreover, by systematically comparing private and non-private models across a range of large batch sizes, we find that similar to non-private setting, choice of optimizer can further improve performance substantially with DP. By using LAMB optimizer with DP-SGD we saw improvement of up to 20$\%$ points (absolute). Finally, we show that finetuning just the last layer for a \emph{single step} in the full batch setting, combined with extremely small-scale (near-zero) initialization leads to both SOTA results of 81.7 $\%$ under a wide privacy budget range of $ε\in [4, 10]$ and $δ$ = $10^{-6}$ while minimizing the computational overhead substantially.

연구 동기 및 목표

• 전이 학습을 통해 대규모 개인 이미지 분류에서 비밀유지-성능 트레이드오프를 향상시키기.
• 대규모 모델에서 차별적(private) 학습의 높은 계산 비용과 성능 저하 문제 해결하기.
• 모델 크기, 사전학습 데이터 규모, 옵티마이저 선택, 학습률 및 가중치 초기화와 같은 하이퍼파라미터가 DP 성능에 미치는 영향 조사하기.
• 강력한 비밀유지 제약 조건(ε ∈ [4,10], δ = 10⁻⁶) 하에서 계산 오버헤드를 최소화하면서도 모델 정확도를 최대화하기.

제안 방법

• 비밀유지 제약 없이 거대한 공공 데이터셋(JFT-300M 및 JFT-4B)에서 비전 트랜스포머(ViT-H/14-4b)를 사전학습하기.
• ImageNet에서 DP-SGD를 사용하여 전체 배치, 단일 스텝 업데이트로 사전학습 모델을 미세조정하기.
• 큰 배치 크기에서 수렴성과 성능을 향상시키기 위해 비밀유지 미세조정 중 LAMB 옵티마이저 적용하기.
• 비밀유지-성능 트레이드오프를 향상시키기 위해 최종 분류 레이어에 근접한 영점 또는 매우 작은 초기화 적용하기.
• 입력 해상도(256×256), 자르기 전략(중앙 자르기), 학습률 스케일링 등의 하이퍼파라미터 최적화하기.
• 노이즈 배수 σ를 통해 비밀유지 예산 제어하고, 표준 DP-SGD 메커니즘을 사용해 (ε, δ)-차별적(private) 유지를 확보하기.

실험 결과

연구 질문

• RQ1 공공 데이터셋에서의 대규모 사전학습이 ImageNet에서 차별적(private) 이미지 분류기의 정확도를 향상시킬 수 있는가?
• RQ2 큰 배치 크기에서 DP-SGD를 사용할 때 옵티마이저 선택(LAMB 대비 모멘터리 힘을 가진 SGD)이 성능에 어떤 영향을 미치는가?
• RQ3 마지막 레이어 가중치 초기화 크기의 영향은 비밀유지 미세조정의 최종 정확도에 어떤가?
• RQ4 단일 스텝 전체 배치 미세조정 절차가 계산 비용을 최소화하면서도 최고의 성능을 달성할 수 있는가?
• RQ5 입력 해상도가 큰 배치로 학습할 때 차별적(private) 유지를 고려한 모델 성능에 어떤 영향을 미치는가?

주요 결과

• JFT-4B에서 사전학습한 ViT-H/14-4b 모델을 사용하고, 최종 레이어를 단일 전체 배치 스텝으로만 미세조정함으로써, ε ∈ [4,10], δ = 10⁻⁶ 조건에서 ImageNet에서 상위-1 정확도 81.7%를 달성함.
• 같은 비밀유지 예산(ε=10, δ=10⁻⁶) 하에서 LAMB 옵티마이저는 모멘터리 힘을 가진 SGD 대비 정확도를 최대 20%p(절대값) 향상시킴.
• 최종 레이어를 거의 영점에 가까운 가중치로 초기화함으로써 성능 향상이著격히 향상되었으며, 더 큰 초기화 값은 특히 DP 조건 하에서 정확도를 떨어뜨림.
• 256×256 입력 해상도가 큰 배치 학습에서 최고의 성능을 보였으며, 이는 해상도와 DP 유용성 간에 비트레이드오프 관계가 있음을 시사함.
• 단일 에포크(즉, 전체 배치 한 번의 스텝) 학습이 더 긴 학습 스케줄보다 성능이 뛰어났으며, 이는 노이즈 누적 감소와 더 나은 비밀유지 계측의 영향으로 보임.
• 대규모 사전학습, LAMB 최적화, 최소한의 미세조정 조합이 이전 연구(예: Kurakin 등, 2022; De 등, 2022)를 모두 초월하는 SOTA 성능을 달성했으며, 테스트한 모든 ε 값에서 동일하게 뛰어난 성능을 보임.