[論文レビュー] Flocks of Stochastic Parrots: Differentially Private Prompt Learning for Large Language Models

Haonan Duan, Adam Dziedzic+2 more|arXiv (Cornell University)|May 24, 2023

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

本稿では、大規模言語モデル（LLM）におけるプロンプトの機微なデータを保護するための、プライバシー保護型のプロンプト学習手法として PromptDPSGD と PromptPATE を提案する。PromptDPSGD は、ソフトプロンプトにおけるプライベート勾配降下を用いる。一方、PromptPATE は、アンサンブルの LLM（「確率的パラクトの群れ」）からのノイズを含む投票を活用して、知識を1つの公開可能な離散プロンプトにプライバシーを保って転送する。本手法は強力なプライバシー・ユーティリティのトレードオフを達成し、GPT-3 を用いて (ε=0.147, δ=10⁻⁶) の微分プライバシーのもとで SST-2 で 92.7% の精度を達成した。これは非プライベートベースラインの 95.2% に近く、非常に高い性能を示している。

ABSTRACT

Large language models (LLMs) are excellent in-context learners. However, the sensitivity of data contained in prompts raises privacy concerns. Our work first shows that these concerns are valid: we instantiate a simple but highly effective membership inference attack against the data used to prompt LLMs. To address this vulnerability, one could forego prompting and resort to fine-tuning LLMs with known algorithms for private gradient descent. However, this comes at the expense of the practicality and efficiency offered by prompting. Therefore, we propose to privately learn to prompt. We first show that soft prompts can be obtained privately through gradient descent on downstream data. However, this is not the case for discrete prompts. Thus, we orchestrate a noisy vote among an ensemble of LLMs presented with different prompts, i.e., a flock of stochastic parrots. The vote privately transfers the flock's knowledge into a single public prompt. We show that LLMs prompted with our private algorithms closely match the non-private baselines. For example, using GPT3 as the base model, we achieve a downstream accuracy of 92.7% on the sst2 dataset with ($ε=0.147, δ=10^{-6}$)-differential privacy vs. 95.2% for the non-private baseline. Through our experiments, we also show that our prompt-based approach is easily deployed with existing commercial APIs.

研究の動機と目的

• 大規模言語モデルにおけるプロンプトが、メンバーインファレンス攻撃によって機微なデータを漏洩させることを示すこと。
• プロンプトベースのLLM利用におけるプライバシーリスクを、効率性と実用性を損なわずに対処すること。
• 商業的APIのような、所有されるLLMへのブラックボックスアクセスが可能な状況でも動作するプライベートプロンプト学習手法の開発。
• 離散プロンプトのためのデータ効率的で微分プライバシーを満たす技術を用いて、強力なプライバシー・ユーティリティのトレードオフを達成すること。
• 非プライベート手法と同等のパフォーマンスを達成しながら、モデルへのアクセス制約を保ったままプライベートプロンプト学習を可能にすること。

提案手法

• PromptDPSGD は、学習可能なソフトプロンプト埋め込みに対して微分プライバシーを満たす確率的勾配降下を実行し、LLMのパラメータは固定したままにしている。
• PromptPATE は、プライベートデータセットからの異なる離散プロンプトでそれぞれのLLMをプロンプトし、予測を生成する「群れ」を形成する。
• 群れからのトークン予測に対するノイズを含む過半数投票が、微分プライバシーを実装し、知識を1つの公開可能な離散プロンプトに転送する。
• 学生用プロンプトは、ノイズを含む集約出力から導出され、推論の際のプライベートプロンプトの代わりに使用できる。
• 本手法はLLMへのブラックボックスアクセスに依存しており、GPT-3 や Claude のような商業APIでも実装可能である。
• 微分プライバシーにより形式的にプライバシーが保証されており、プライバシー会計は合成定理を用いて追跡されている。

実験結果

リサーチクエスチョン

• RQ1 メンバーインファレンス攻撃は、LLMのプロンプトに使用されたデータの機微性を効果的に侵害できるか？
• RQ2 微分プライバシーを満たす勾配降下を用いてソフトプロンプトをプライベートに学習可能であり、モデルのユーティリティを維持できるか？
• RQ3 勾配アクセスが不要なアンサンブルベースの知識転送によって、離散プロンプトをプライベートに学習可能か？
• RQ4 特に強いプライバシー予算のもとで、プライベートプロンプト学習におけるプライバシーとユーティリティのトレードオフはどのように振る舞うか？
• RQ5 ブラックボックスアクセスのみを用いても、非プライベートプロンプティングと同等のパフォーマンスを達成できるか？

主な発見

• メンバーインファレンス攻撃が、LLMのプロンプトに使用されたデータポイントが含まれていたかどうかを正確に特定できることを示し、プロンプトベースのLLM利用におけるプライバシーリスクを裏付けた。
• PromptDPSGD は、低コストのトレーニングで微分プライバシーを満たすソフトプロンプト学習を可能にし、競争力のあるユーティリティを達成した。
• PromptPATE は、GPT-3 を用いて (ε=0.147, δ=10⁻⁶) の微分プライバシーのもとで、SST-2 データセットで 92.7% の精度を達成した。これは非プライベートベースラインの 95.2% に近く、非常に高い性能を示した。
• わずか100回の公開クエリでのアンサンブルに限っても、性能はほぼ飽和に達しており、高いデータ効率性を示した。
• 教師モデル間の高い合意度のおかげで、1クエリあたりのプライバシーコストは低く抑えられ、情報漏洩が減少し、プライバシー・ユーティリティのトレードオフが改善された。
• より強力なLLMや大きなコンテキスト窓口を用いることでパフォーマンスが向上し、プライベートプロンプティングのスケーラビリティと将来の可能性を示した。