[论文解读] Mitigating the Privacy Issues in Retrieval-Augmented Generation (RAG) via Pure Synthetic Data

Shenglai Zeng, Jiankun Zhang+8 more|arXiv (Cornell University)|Jun 20, 2024

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文提出SAGE，一种两阶段合成数据生成框架，通过用高价值、保护隐私的合成数据替换敏感的检索数据，以减轻检索增强生成（RAG）中的隐私风险。该方法首先从原始数据中提取并生成关键属性，然后通过基于智能体的迭代过程进行优化，实现与真实数据相当的性能，同时在针对性和非针对性攻击中显著降低隐私泄露。

ABSTRACT

Retrieval-augmented generation (RAG) enhances the outputs of language models by integrating relevant information retrieved from external knowledge sources. However, when the retrieval process involves private data, RAG systems may face severe privacy risks, potentially leading to the leakage of sensitive information. To address this issue, we propose using synthetic data as a privacy-preserving alternative for the retrieval data. We propose SAGE, a novel two-stage synthetic data generation paradigm. In the stage-1, we employ an attribute-based extraction and generation approach to preserve key contextual information from the original data. In the stage-2, we further enhance the privacy properties of the synthetic data through an agent-based iterative refinement process. Extensive experiments demonstrate that using our synthetic data as the retrieval context achieves comparable performance to using the original data while substantially reducing privacy risks. Our work takes the first step towards investigating the possibility of generating high-utility and privacy-preserving synthetic data for RAG, opening up new opportunities for the safe application of RAG systems in various domains.

研究动机与目标

• 解决当检索数据包含敏感信息时RAG系统中的隐私风险。
• 开发一种合成数据生成流程，以保留对下游任务有用性的关键信息。
• 在不损害检索质量或引入显著推理开销的前提下，增强隐私保护。
• 探索使用合成数据作为真实检索数据在RAG中的安全、替代品的可行性。
• 评估合成数据在针对和非针对隐私攻击下的鲁棒性。

提出的方法

• 两阶段合成数据生成流程：第一阶段使用基于属性的提取与生成，以保留原始数据中的关键上下文信息。
• 第二阶段采用基于智能体的迭代优化过程，通过去除敏感元素进一步增强隐私保护，同时保持数据实用性。
• 基于属性的生成阶段利用大语言模型（LLMs）识别并重建原始患者记录中的核心信息，如疾病、症状和治疗方案。
• 基于智能体的优化阶段使用多个LLM智能体，通过迭代评估和修改合成数据，利用自我一致性与对抗性测试实现隐私加固。
• 该框架使用真实世界数据集（如HealthCareMagic）进行评估，性能通过标准RAG指标衡量，隐私泄露通过针对性和非针对性攻击基准进行评估。
• 该方法设计为与下游LLM无关，可在不改变架构的前提下与多种LLM集成。

Figure 1: An illustration for RAG with synthetic data.

实验结果

研究问题

• RQ1 是否可以生成合成数据，在保持RAG高实用性的同时，有效缓解敏感检索数据带来的隐私泄露？
• RQ2 两阶段合成数据生成流程——即基于属性的生成后接基于智能体的优化——如何影响性能与隐私？
• RQ3 在生成过程中使用的属性数量对实用性与隐私的影响如何？
• RQ4 当RAG中检索的文档数量增加时，合成数据流程的鲁棒性如何？
• RQ5 LLM的选择（如GPT-3.5与GPT-4）如何影响生成合成数据的隐私性与质量？

主要发现

• 在RAG中使用SAGE生成的合成数据，性能与使用原始数据相当，多个基准测试中检索与生成质量的下降可忽略不计。
• 基于智能体的优化阶段显著降低了隐私泄露，在即使检索多份文档的情况下，针对性攻击中的暴露接近于零。
• 当使用Llama3-Chat-8b进行第一阶段生成时，由于数据质量较差，未观察到隐私泄露；而GPT-4的泄露水平低于GPT-3.5，可能归因于更强的安全过滤机制。
• 增加属性数量可提升性能，但超过某一最优值后收益递减，表明需谨慎进行超参数调优。
• 该流程对检索文档数量增加（k）保持鲁棒，k从1到10的范围内，隐私泄露始终处于极低水平；而仅使用第一阶段数据时，风险随k增加而显著放大。
• 该方法有效缓解了针对和非针对攻击，表明合成数据可作为真实检索数据在RAG中的可行隐私保护替代方案。

Figure 2: Pipeline of generating synthetic data.