[論文レビュー] Differentially Private Bias-Term Fine-tuning of Foundation Models

Zhiqi Bu, Yu-Xiang Wang+2 more|arXiv (Cornell University)|Sep 30, 2022

Privacy-Preserving Technologies in Data被引用数 7

ひとこと要約

本稿では、微分プライバシーを備えたモデルに依存しないファインチューニング手法であるDP-BiTFiTを提案する。この手法は、基礎モデルのバイアス項のみをファインチューニングすることで、0.1%のパラメータ効率とほぼゼロの計算オーバーヘッドを達成し、最先端の精度を実現する。DPフルファインチューニングと比較して2–30倍速く、2–8倍のメモリを節約する。これにより、長文シーケンスや高解像度画像における効率的なプライベート学習が可能になる。

ABSTRACT

We study the problem of differentially private (DP) fine-tuning of large pre-trained models -- a recent privacy-preserving approach suitable for solving downstream tasks with sensitive data. Existing work has demonstrated that high accuracy is possible under strong privacy constraint, yet requires significant computational overhead or modifications to the network architecture. We propose differentially private bias-term fine-tuning (DP-BiTFiT), which matches the state-of-the-art accuracy for DP algorithms and the efficiency of the standard BiTFiT. DP-BiTFiT is model agnostic (not modifying the network architecture), parameter efficient (only training about 0.1% of the parameters), and computation efficient (almost removing the overhead caused by DP, in both the time and space complexity). On a wide range of tasks, DP-BiTFiT is 2~30X faster and uses 2~8X less memory than DP full fine-tuning, even faster than the standard full fine-tuning. This amazing efficiency enables us to conduct DP fine-tuning on language and vision tasks with long-sequence texts and high-resolution images, which were computationally difficult using existing methods. We open-source our code at FastDP (https://github.com/awslabs/fast-differential-privacy).

研究の動機と目的

• 機密データ上で大規模な基礎モデルのプライバシー保護型ファインチューニングを実現しつつ、計算コストとメモリ使用量を最小限に抑えること。
• 高い計算コストやアーキテクチャの変更を伴う既存の微分プライバシー（DP）ファインチューニング手法の限界を克服すること。
• 長文シーケンスNLPや高解像度画像分類といった計算コストの高いタスクにおいて、効率的なDPファインチューニングを可能にすること。
• 強いプライバシー制約（例：ε ≤ 8）下でも高いモデル精度を維持しつつ、パラメータと計算の効率性を保つこと。

提案手法

• 事前学習済みモデルのバイアス項のみをファインチューニングし、他のすべての重みを凍結するモデルに依存しないアプローチを提案する。
• 勾配クリッピングとノイズ注入を用いたDP-SGDを活用し、バイアスのみのファインチューニングプロセスに微分プライバシー（DP）を統合する。
• フォワードアクティベーションのキャッシュと重み勾配のバックプロパゲーションを排除することで、メモリと時間の複雑性を大幅に削減する。
• 凍結された重みの計算を回避し、バイアスパラメータの勾配のみを追跡することで、ほぼゼロのDPオーバーヘッドを達成する。
• 2段階の訓練戦略を導入：最初にXエポック（X ≤ 2）のDPフルファインチューニングを実行し、その後DP-BiTFiTに切り替えることで、高精度と効率性を両立する。
• バイアスと追加パラメータを同時に最適化することで、DP-BiTFiTをLoRA、アダプタなどの他のパラメータ効率の良い手法と組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャの変更なしに、バイアス項のみのファインチューニングが強い微分プライバシー制約下でも競争力ある精度を達成できるか？
• RQ2 多様なNLPおよびビジョンタスクにおいて、DP-BiTFiTはDPフルファインチューニングと比較して、精度、速度、メモリ使用量の面でどのように異なるか？
• RQ3 フルファインチューニングが計算的に不可能な長文シーケンスや高解像度入力において、DP-BiTFiTは効率性と精度を維持できるか？
• RQ4 フルファインチューニングとバイアスのみのファインチューニングを組み合わせた2段階訓練戦略は、DP-BiTFiTが性能を発揮できない小規模または困難なモデルにおいて、性能を向上させることができるか？

主な発見

• DP-BiTFiTは、強いプライバシー（ε ≤ 8）下でもGLUEおよびMNLIベンチマークで最先端の精度を達成し、先行するDP手法と同等またはそれを上回る。
• ε=2のCIFAR100では、BEiT-largeを用いて88.7%の精度を達成し、同じプライバシー予算下で先行するSOTAフルファインチューニング（87.0%）を上回る。
• DPフルファインチューニングと比較して、DP-BiTFiTは2–30倍速く、2–8倍のメモリを節約する。さらに、標準の非プライベートなフルファインチューニングでさえも、速度で上回る。
• ビジョンタスクでは、ViT-Large（ε=8）を用いてImageNetで95.5%の精度を達成した。これはフルファインチューニングの98.0%と比較して、高解像度画像でも高い性能を示している。
• 2段階訓練（1+BiTFiT）により、CIFAR10（ε=2）で98.8%の精度を達成し、先行するSOTAフルファインチューニングを1.7ポイント上回った。
• GPT2、RoBERTa、ViTなど、モデルサイズに関係なく、DP-BiTFiTは一貫したパラメータ効率（約0.1%）を維持する。