[논문 리뷰] Differentially Private Bias-Term Fine-tuning of Foundation Models

Zhiqi Bu, Yu-Xiang Wang외 2명|arXiv (Cornell University)|2022. 09. 30.

Privacy-Preserving Technologies in Data인용 수 7

한 줄 요약

이 논문은 기초 모델의 편향 항만 학습하는, 차별적(private)이고 모델에 종속되지 않는 미세조정 방법인 DP-BiTFiT를 제안한다. 이 방법은 0.1%의 파라미터 효율성과 거의 제로에 가까운 계산 오버헤드를 달성하며, 최신 기술 수준의 정확도를 확보한다. DP 전체 미세조정 대비 2–30배 빠르고, 메모리 사용량도 2–8배 적게 사용하여 장수열 및 고해상도 이미지에서 효율적인 사생활 보호 학습을 가능하게 한다.

ABSTRACT

We study the problem of differentially private (DP) fine-tuning of large pre-trained models -- a recent privacy-preserving approach suitable for solving downstream tasks with sensitive data. Existing work has demonstrated that high accuracy is possible under strong privacy constraint, yet requires significant computational overhead or modifications to the network architecture. We propose differentially private bias-term fine-tuning (DP-BiTFiT), which matches the state-of-the-art accuracy for DP algorithms and the efficiency of the standard BiTFiT. DP-BiTFiT is model agnostic (not modifying the network architecture), parameter efficient (only training about 0.1% of the parameters), and computation efficient (almost removing the overhead caused by DP, in both the time and space complexity). On a wide range of tasks, DP-BiTFiT is 2~30X faster and uses 2~8X less memory than DP full fine-tuning, even faster than the standard full fine-tuning. This amazing efficiency enables us to conduct DP fine-tuning on language and vision tasks with long-sequence texts and high-resolution images, which were computationally difficult using existing methods. We open-source our code at FastDP (https://github.com/awslabs/fast-differential-privacy).

연구 동기 및 목표

• 민감한 데이터에서 대규모 기초 모델의 사생활 보호 미세조정 문제를 해결하면서 계산 및 메모리 오버헤드를 최소화한다.
• 높은 계산 비용 또는 아키텍처 수정이 필요한 기존의 차별적(private) 미세조정 방법의 한계를 극복한다.
• 장수열 자연어 처리 및 고해상도 이미지 분류와 같은 계산 비용이 큰 작업에서 효율적인 DP 미세조정을 가능하게 한다.
• 강력한 사생활 보호 제약 조건(예: ε ≤ 8) 하에서도 높은 모델 정확도를 유지하면서 파라미터 및 계산 효율성을 확보한다.

제안 방법

• 모든 다른 가중치를 동결한 채로 사전 학습된 모델의 편향 항만 학습하는 모델에 종속되지 않는 접근 방식을 제안한다.
• 기울기 클리핑과 노이즈 주입을 사용한 DP-SGD를 활용해 편향 단독 학습 과정에 차별적(private) 보장을 통합한다.
• 전방 활성화 캐싱과 가중치 기울기 역전파를 제거하여 메모리 및 시간 복잡도를 크게 감소시킨다.
• 동결된 가중치에 대한 계산을 피하고 편향 파라미터의 기울기만 추적함으로써 거의 제로에 가까운 DP 오버헤드를 달성한다.
• 두 단계 학습 전략을 도입한다: 먼저 X 에포크(≤ 2) 동안 DP 전체 미세조정을 수행한 후, 높은 정확도를 유지하면서 효율성을 확보하기 위해 DP-BiTFiT로 전환한다.
• LoRA, 어댑터 등 다른 파라미터 효율적 방법과 함께 편향 및 추가 파라미터를 공동 최적화함으로써 DP-BiTFiT를 통합한다.

실험 결과

연구 질문

• RQ1 모델 아키텍처를 수정하지 않고도 편향 항 전용 학습이 강력한 차별적(private) 보장 조건 하에서 경쟁 가능한 정확도를 달성할 수 있는가?
• RQ2 다양한 NLP 및 비전 작업에서 DP 전체 미세조정과 비교해 DP-BiTFiT의 정확도, 속도, 메모리 사용량은 어떻게 다른가?
• RQ3 전체 미세조정이 계산적으로 금기인 장수열 및 고해상도 입력에서 DP-BiTFiT는 효율성과 정확도를 유지하는가?
• RQ4 전체 및 편향 전용 학습을 조합한 두 단계 학습 전략이 DP-BiTFiT가 성능을 저하시키는 작은 또는 어려운 모델에서 성능 향상을 이끌 수 있는가?

주요 결과

• DP-BiTFiT는 강력한 사생활 보호(ε ≤ 8) 조건 하에서 GLUE 및 MNLI 벤치마크에서 최신 기술 수준의 정확도를 확보하며, 이전의 DP 방법과 동일하거나 이를 초월한다.
• ε=2일 때 CIFAR100에서 BEiT-large를 사용해 88.7%의 정확도를 기록했으며, 동일한 사생활 보호 예산 하에서 이전 최신 기술 수준의 전체 미세조정(87.0%)을 능가한다.
• DP 전체 미세조정 대비 2–30배 빠르고, 메모리 사용량도 2–8배 적게 사용하며, 비사생활 보호 기반의 표준 전체 미세조정보다도 빠른 속도를 기록한다.
• 비전 작업에서는 ViT-Large를 사용해 ImageNet에서 ε=8일 때 95.5%의 정확도를 달성했으며, 전체 미세조정의 98.0%에 비해 높은 성능을 보였다. 이는 고해상도 이미지에서 강력한 성능을 보임을 시사한다.
• 두 단계 학습(1+BiTFiT) 전략을 통해 CIFAR10에서 ε=2일 때 정확도를 98.8%까지 끌어올렸으며, 이는 이전 최신 기술 수준의 전체 미세조정보다 1.7%p 높은 성능이다.
• GPT2, RoBERTa, ViT 등 다양한 모델에서 일관된 파라미터 효율성(~0.1%)을 유지하며, 모델 크기에 관계없이 일관된 성능을 보였다.