[论文解读] DP-OPT: Make Large Language Model Your Privacy-Preserving Prompt Engineer

Junyuan Hong, Jiachen T. Wang+4 more|arXiv (Cornell University)|Nov 27, 2023

Privacy-Preserving Technologies in Data被引用 5

一句话总结

DP-OPT 是一种新颖的框架，使大型语言模型（LLMs）能够作为保护隐私的提示工程师，在客户端生成具有差分隐私的离散提示，从而确保数据机密性和模型知识产权保护。当迁移至封闭源代码（如 GPT-3.5）和开源（如 Llama-2、Vicuna-33b）云模型时，其性能表现具有竞争力——在 GPT-3.5 上与非私有的上下文学习性能相当，在本地微调中也表现良好。

ABSTRACT

Large Language Models (LLMs) have emerged as dominant tools for various tasks, particularly when tailored for a specific target by prompt tuning. Nevertheless, concerns surrounding data privacy present obstacles due to the tuned prompts' dependency on sensitive private information. A practical solution is to host a local LLM and optimize a soft prompt privately using data. Yet, hosting a local model becomes problematic when model ownership is protected. Alternative methods, like sending data to the model's provider for training, intensify these privacy issues facing an untrusted provider. In this paper, we present a novel solution called Differentially-Private Offsite Prompt Tuning (DP-OPT) to address this challenge. Our approach involves tuning a discrete prompt on the client side and then applying it to the desired cloud models. We demonstrate that prompts suggested by LLMs themselves can be transferred without compromising performance significantly. To ensure that the prompts do not leak private information, we introduce the first private prompt generation mechanism, by a differentially-private (DP) ensemble of in-context learning with private demonstrations. With DP-OPT, generating privacy-preserving prompts by Vicuna-7b can yield competitive performance compared to non-private in-context learning on GPT3.5 or local private prompt tuning. Codes are available at https://github.com/VITA-Group/DP-OPT .

研究动机与目标

• 解决提示微调中的关键数据隐私挑战，即敏感数据必须与不可信的云模型共享。
• 通过避免本地模型训练或参数暴露，同时保护数据机密性和模型知识产权。
• 仅使用私有数据和本地 LLM，在客户端设备上实现有效的提示生成，无需访问云模型的权重。
• 开发一种差分隐私机制用于提示生成，严格限制隐私损失，且不依赖梯度或公开数据。
• 证明 LLM 生成的提示可在异构模型间迁移，实现在远程云 LLM 上的高性能。

提出的方法

• 使用本地较小的 LLM（如 Vicuna-7b）基于私有训练数据生成离散提示，确保所有数据保留在客户端。
• 采用基于不相交私有演示子集的差分隐私上下文学习集成方法，生成具有正式隐私保障的提示。
• 将差分隐私噪声机制直接引入提示生成过程，确保隐私保护，且无需依赖梯度或公开数据。
• 通过基于私有客户端优化循环的提示调优，在本地验证数据上评估性能。
• 将最终的离散提示传输至基于云的 LLM（如 GPT-3.5、Llama-2、Vicuna-33b）进行推理，无需重新训练。
• 使用基于离散 token 的提示，确保跨模型兼容性，实现跨架构的可迁移性。

实验结果

研究问题

• RQ1 LLM 能否在客户端生成既有效又私有的离散提示，而无需暴露敏感数据？
• RQ2 通过私有演示的上下文学习实现的差分隐私提示生成，是否能在不降低性能的前提下提供强隐私保障？
• RQ3 由本地 LLM 生成的提示能否成功迁移至高性能封闭源代码云 LLM（如 GPT-3.5），并实现具有竞争力的性能？
• RQ4 在准确率与隐私权衡方面，DP-OPT 的性能与非私有的上下文学习和本地私有微调相比如何？
• RQ5 在严格隐私约束下，提示在异构架构之间（如 Vicuna 到 GPT-3.5）的可迁移性是否可行且有效？

主要发现

• DP-OPT 实现了端到端的客户端私有提示微调，确保数据机密性并保护云模型的知识产权。
• 使用 DP-OPT 由 Vicuna-7b 生成的提示在 GPT-3.5 上对 HellaSwag 任务的测试准确率达到 86.3%，与非私有的上下文学习性能相当。
• 当从 Vicuna-7b 将提示迁移至 GPT-3.5 时，该方法在 HellaSwag 基准测试中达到 78.6% 的准确率，证明了强大的可迁移性。
• DP-OPT 的差分隐私提示生成机制严格限制了隐私损失，且不依赖梯度或公开数据。
• 在 ARC-Challenge 基准测试中，当从 Vicuna-7b 将提示迁移至 GPT-3.5 时，DP-OPT 达到 65.4% 的准确率，显示出在任务间强大的泛化能力。
• 该框架在隐私-准确率权衡方面优于基线方法，在确保正式差分隐私保障的同时保持了高性能。