[论文解读] Are Chatbots Ready for Privacy-Sensitive Applications? An Investigation into Input Regurgitation and Prompt-Induced Sanitization

Aman Priyanshu, Supriti Vijay+3 more|arXiv (Cornell University)|May 24, 2023

Privacy, Security, and Data Protection被引用 11

一句话总结

本论文表明 ChatGPT 可以记忆并复述 PII/PHI，但通过提示诱导的净化可以显著降低泄漏并提升对 HIPAA 与 GDPR 的合规性，且存在对子组偏差、并开放数据集以便进一步研究。

ABSTRACT

LLM-powered chatbots are becoming widely adopted in applications such as healthcare, personal assistants, industry hiring decisions, etc. In many of these cases, chatbots are fed sensitive, personal information in their prompts, as samples for in-context learning, retrieved records from a database, or as part of the conversation. The information provided in the prompt could directly appear in the output, which might have privacy ramifications if there is sensitive information there. As such, in this paper, we aim to understand the input copying and regurgitation capabilities of these models during inference and how they can be directly instructed to limit this copying by complying with regulations such as HIPAA and GDPR, based on their internal knowledge of them. More specifically, we find that when ChatGPT is prompted to summarize cover letters of a 100 candidates, it would retain personally identifiable information (PII) verbatim in 57.4% of cases, and we find this retention to be non-uniform between different subgroups of people, based on attributes such as gender identity. We then probe ChatGPT's perception of privacy-related policies and privatization mechanisms by directly instructing it to provide compliant outputs and observe a significant omission of PII from output.

研究动机与目标

• 评估 ChatGPT 是否会从提示和先前交互中复制个人身份信息（PII）（输入再现）。
• 评估直接指示遵守隐私法规如何影响输出（提示诱导的净化）。
• 在两个领域案例研究中量化泄漏与有用性之间的权衡（包含 PII 的招聘与包含 PHI 的医疗保健）。
• 分析泄漏和净化效能在不同子组中的差异（例如性别认同）。
• 公开的含 PII/PHI 的样本数据集以促进进一步研究。

提出的方法

• 两个案例研究：在求职信中包含 PII 的招聘决策，以及在病历中的含 PHI 的医疗协助。
• 通过提示诱导符合 HIPAA 和 GDPR 的合规性，包括基于 k-匿名化的净化提示。
• 合成数据集：通过 MIMIC-III 增强的含 HIPAA/PHI 的医疗记录，以及含 PII 的求职信。
• 使用隐私泄漏与有用性指标进行定量评估（布尔隐私泄漏、Jaro 距离、BLEU、年龄匹配）。
• 分析属性相关性（性别、出生日期、大学）及其对泄漏的影响。

Figure 1: Our experimental setup and methodology, where we first quantify ChatGPT’s capability to copy and retain personally identifiable information (left). Then, we instruct ChatGPT to sanitize its output using k-anonymity, and to abide by privacy policies (HIPAA).

实验结果

研究问题

• RQ1 模型在多大程度上会从提示或先前对话中复制 PII/PHI？
• RQ2 明确的隐私合规提示是否能降低 PII/PHI 泄漏，以及在多大程度上？
• RQ3 泄漏在敏感属性（如性别、出生日期、大学）以及跨领域（医疗 vs 招聘）中的变化情况？
• RQ4 去标识化对下游任务输出的有用性有何影响？

主要发现

• ChatGPT 在基线情况下有 PII 复制率为 57.4%；应用合规提示后降至 30.5%，再加上明确的擦除指令后降至 15.2%。
• 提示诱导的净化将医疗数据集中的 PHI 泄漏降至基线的 26.4%（减少 56%）。
• 在招聘数据集中，基于提示的净化相对于基线降低约 30.2% 的 PII 泄漏。
• 泄漏与净化结果在不同子组之间并非均匀，对非二元性别个体的 PII 复制显著减少。
• 提示生成的输出为匿名化（例如将姓名替换为如 Patient-1 S. 或 Unknown 的标识符），在某些情况下甚至完全匿名化。
• 有用性分析显示保留了非敏感属性，而对敏感属性在不同提示下的保留程度各异。

Figure 2: This image showcases the utility analysis of skills and hireability of role in the hiring dataset (left) & of symptoms and diagnosis for the medical dataset (right).