[논문 리뷰] On the Efficacy of Differentially Private Few-shot Image Classification

Marlon Tobaben, Aliaksandra Shysheya외 6명|arXiv (Cornell University)|2023. 02. 02.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 다양한 샘플 수, 비밀유지 수준, 모델 아키텍처, 그리고 효율적인 파라미터 미세조정 전략을 고려한 차별적 비밀유지(DP) 소수 샘플 이미지 분류를 조사한다. FiLM 어댑터는 전체 미세조정 수준과 유사한 DP 성능를 달성하면서도 통신 효율성을 향상시키며, DP 하에서 VTAB-1k 벤치마크에서 최고 성능(51.9% 매크로 F1)을 기록한다.

ABSTRACT

There has been significant recent progress in training differentially private (DP) models which achieve accuracy that approaches the best non-private models. These DP models are typically pretrained on large public datasets and then fine-tuned on private downstream datasets that are relatively large and similar in distribution to the pretraining data. However, in many applications including personalization and federated learning, it is crucial to perform well (i) in the few-shot setting, as obtaining large amounts of labeled data may be problematic; and (ii) on datasets from a wide variety of domains for use in various specialist settings. To understand under which conditions few-shot DP can be effective, we perform an exhaustive set of experiments that reveals how the accuracy and vulnerability to attack of few-shot DP image classification models are affected as the number of shots per class, privacy level, model architecture, downstream dataset, and subset of learnable parameters in the model vary. We show that to achieve DP accuracy on par with non-private models, the shots per class must be increased as the privacy level increases. We also show that learning parameter-efficient FiLM adapters under DP is competitive with learning just the final classifier layer or learning all of the network parameters. Finally, we evaluate DP federated learning systems and establish state-of-the-art performance on the challenging FLAIR benchmark.

연구 동기 및 목표

• 차별적 비밀유지(DP) 소수 샘플 이미지 분류가 저자료 및 도메인 외부 설정에서 효과적인 조건을 규명하는 것.
• DP 미세조정에서 비밀유지 수준(ε), 클래스당 샘플 수, 모델 정확도 간의 상호 상충 관계를 평가하는 것.
• 소수 샘플 환경에서 DP 하에서 효율적인 파라미터 미세조정 방법(예: FiLM 어댑터, 최종층만, 전체 미세조정)의 효과를 평가하는 것.
• 결과를 연합 학습에 확장하여 도전적인 FLAIR 벤치마크에서 DP 성능을 평가하는 것.
• 소수 샘플 설정에서 DP-SGD에 대한 비밀유지 회계 방법(RDP 및 PRV)의 체계적 비교를 제공하는 것.

제안 방법

• RDP 및 PRV 회계 방법을 사용하여 비밀유지 회계를 수행하고, (ε,δ)-차별적 비밀유지 하에서 기울기 클리핑과 노이즈 주입을 적용한 DP-SGD를 사용하여 모델을 훈련한다.
• 클래스당 샘플 수(1–500), 비밀유지 예산(ε ∈ {1,2,4,8}), 최종 데이터셋(CIFAR-10, CIFAR-100, SVHN, VTAB-1k), 모델 아키텍처(ResNet, ViT)를 다양하게 변화시킨 광범위한 분석 실험을 수행한다.
• 세 가지 미세조정 전략 평가: (1) 최종 분류기 레이어만, (2) 모든 모델 파라미터, (3) 중간 레이어에 적용된 효율적인 파라미터 FiLM 어댑터.
• 중앙집중형 및 연합 학습 환경 모두에 동일한 훈련 프로토콜을 적용하고, 클라이언트 및 서버 학습률, 적응형 클리핑 임계값에 대한 초모델 최적화를 수행한다.
• VTAB-1k 벤치마크를 사용하여 도메인 외부 전이 성능과 연합 DP 학습에서의 통신 효율성을 평가한다.
• RDP 및 PRV 회계 방법을 모두 사용하여 비밀유지 보장을 재계산함으로써, 다양한 δ(예: δ = 1e−5) 하에서 ε 추정치의 정확성과 강건성을 확보한다.

Figure 1 : Classification accuracy as a function of shots and $\epsilon$ for CIFAR-10, CIFAR-100 and SVHN. Backbone is VIT-B and the best performing configuration out of All , FiLM and Head is used for each combination of $\epsilon$ and $S$ , with $\delta=1/|\mathcal{D}|$ . The accuracy is reported

실험 결과

연구 질문

• RQ1 클래스당 샘플 수가 다양한 비밀유지 예산(ε) 하에서 차별적 비밀유지 소수 샘플 이미지 분류의 정확도에 미치는 영향은 어떻게 되는가?
• RQ2 최종층, 전체 네트워크, 또는 FiLM 어댑터와 같은 미세조정 전략의 선택이 소수 샘플 설정에서 DP 정확도와 통신 효율성에 미치는 영향은 어떠한가?
• RQ3 이미지넷에서 VTAB-1k로의 도메인 외부 전이가 DP 모델 성능을 얼마나 떨어뜨리며, 이를 어떻게 완화할 수 있는가?
• RQ4 중앙집중형 DP 훈련에서 관찰된 경향이 특히 비밀유지-정확도 상충 관계 측면에서 연합 DP 학습으로 일반화되는가?
• RQ5 다른 비밀유지 회계 방법(RDP 대비 PRV)이 계산된 ε 값에 미치는 영향과 실험 간 비교 가능성은 어떠한가?

주요 결과

• 비밀유지 모델 정확도를 비비밀 모델 수준으로 맞추기 위해 비밀유지 예산(ε)이 감소할수록 클래스당 샘플 수를 크게 증가시킬 필요가 있으며, 명확한 데이터-비밀유지 상충 관계가 존재한다.
• 최종 분류기 레이어 외에 FiLM 어댑터를 함께 미세조정하면, VTAB-1k 벤치마크에서 DP 하에서 최고 성능(51.9% 매크로 F1)을 달성하며, 이는 이전 SOTA인 44.3%보다 뚜렷한 향상이다.
• 저자료 및 도메인 외부 설정에서 FiLM 어댑터 미세조정이 정확도와 통신 효율성 측면에서 전체 미세조정 및 최종층만 미세조정을 모두 능가한다.
• DP 모델의 정확도는 전이 학습 과제의 난이도와 강하게 상관되며, 더 복잡하거나 도메인 외부의 데이터셋은 성능 유지에 더 많은 데이터 또는 더 나은 파라미터화가 필요하다.
• PRV 회계 방법을 사용하면 RDP 대비 약간 낮은 ε 추정치를 도출하여 비밀유지 보장을 강화하면서도 동일한 모델 성능을 유지한다.
• 연합 학습 환경에서는 제안된 DP-FedAvg 설정이 FLAIR 벤치마크에서 최고 성능을 기록하여, 제한된 자원을 가진 클라이언트가 있는 실세계 분산 환경에서 DP의 실현 가능성을 입증한다.