[論文レビュー] Privacy-Preserving Parameter-Efficient Fine-Tuning for Large Language Model Services

Yansong Li, Zhixing Tan+2 more|arXiv (Cornell University)|May 10, 2023

Privacy-Preserving Technologies in Data被引用数 16

ひとこと要約

本論文は rapt を紹介します。 privacy-preserving, parameter-efficient prompting method for LLM services that uses local differential privacy with text-to-text privatization and a privatized token reconstruction task to maintain utility.

ABSTRACT

Parameter-Efficient Fine-Tuning (PEFT) provides a practical way for users to customize Large Language Models (LLMs) with their private data in LLM service scenarios. However, the inherently sensitive nature of private data demands robust privacy preservation measures during the customization of LLM services to ensure data security, maintain user trust, and comply with stringent regulatory standards. Based on PEFT, we propose Privacy-Preserving Parameter-Efficient Fine-Tuning (RAPT), a framework that offers privacy protection for LLM services. RAPT adopts a local privacy approach, enabling users to privatize their data locally using a text-to-text local differential privacy mechanism. Since PEFT performs poorly when directly trained on privatized data, we introduce a novel privatized token reconstruction task that is trained jointly with the downstream task, allowing LLMs to learn better task-dependent representations. Despite the simplicity of our framework, experiments show that RAPT achieves competitive performance across tasks while providing privacy guarantees against adversaries.

研究の動機と目的

• prompt tuning を用いた LLM サービスのカスタマイズにおけるプライバシー保護の必要性を動機づける。
• クラウドベースの LLM サービスに適した軽量な、local-DP フレームワークを提案する。
• 下流タスクと共同で訓練された privatized token reconstruction task によって、 privatization による有用性の低下を緩和する。

提案手法

• d_X-privacy に基づく text-to-text privatization を用いた local privacy 設定を採用。
• task-dependent representations を学習するため、privatized token reconstruction objective を用いて prompt tuning を拡張。
• 入力の先頭にプレーンなトークン列を付加し、privatised representations からそれらを再構成。
• L_task + L_rec という結合損失でエンドツーエンド訓練。
• 推論時にはクライアント側で privatization を適用し、デプロイ時には reconstruction head を省略。

実験結果

リサーチクエスチョン

• RQ1 local differential privacy via text-to-text privatization は、有用性の大幅な低下を伴わずに LLM サービスのカスタマイズでユーザデータを保護できるか。
• RQ2 privatized token reconstruction task を追加することで、 privatized data 下で下流のパフォーマンスは異なる LLMs およびタスクで改善されるか。
• RQ3 rapt は LLM サービスのプライバシーと有用性のトレードオフにおいて、既存のプライバシー保護アプローチと比較してどうか。
• RQ4 このアプローチは、より大きなモデルや様々な prompting パラダイム（prompt tuning vs prefix-tuning）にスケーラブルか。

主な発見

• rapt は privatized data の下で embeddings inversion および attribute inference 攻撃に対するプライバシー保護を提供する。
• Privatized token reconstruction は SST、QQP、TP-UK の下流タスク精度を、BERT、T5、そしてより大きなモデルを用いた場合に顕著に改善する。
• このアプローチは、訓練可能パラメータがはるかに少ない（prompt-tuning または prefix-tuning の変種）状態でも、既存のプライバシー保護手法と競合する有用性を維持する。
• reconstruction は学習された表現を非プライベートの counterparts により近づけ、層を跨いだタスク性能を支援する。
• この手法は privatization に用いられる異なる embedding モデルや、異なる plain-token 構成にも効果的である。