[论文解读] Anonymity at Risk? Assessing Re-Identification Capabilities of Large Language Models

Alex Nyffenegger, Matthias Stürmer+1 more|arXiv (Cornell University)|Aug 22, 2023

Hate Speech and Cyberbullying Detection被引用 4

一句话总结

本研究评估了大型语言模型（LLMs）在匿名化瑞士法院判决书和维基百科文章中的再识别风险，采用基于最先进模型的原型框架进行测试。尽管在维基百科上表现优异，LLMs 在真实法院判决中因数据稀疏性和复杂性而表现不佳，但模型规模、输入长度和指令微调显著影响性能，表明未来存在潜在风险，亟需加强匿名化防护措施。

ABSTRACT

Anonymity of both natural and legal persons in court rulings is a critical aspect of privacy protection in the European Union and Switzerland. With the advent of LLMs, concerns about large-scale re-identification of anonymized persons are growing. In accordance with the Federal Supreme Court of Switzerland, we explore the potential of LLMs to re-identify individuals in court rulings by constructing a proof-of-concept using actual legal data from the Swiss federal supreme court. Following the initial experiment, we constructed an anonymized Wikipedia dataset as a more rigorous testing ground to further investigate the findings. With the introduction and application of the new task of re-identifying people in texts, we also introduce new metrics to measure performance. We systematically analyze the factors that influence successful re-identifications, identifying model size, input length, and instruction tuning among the most critical determinants. Despite high re-identification rates on Wikipedia, even the best LLMs struggled with court decisions. The complexity is attributed to the lack of test datasets, the necessity for substantial training resources, and data sparsity in the information used for re-identification. In conclusion, this study demonstrates that re-identification using LLMs may not be feasible for now, but as the proof-of-concept on Wikipedia showed, it might become possible in the future. We hope that our system can help enhance the confidence in the security of anonymized decisions, thus leading to the courts being more confident to publish decisions.

研究动机与目标

• 评估使用大型语言模型从瑞士联邦法院判决书中重新识别匿名化个体的可行性。
• 研究影响 LLM 在再识别任务中表现的关键因素，包括模型规模、输入长度和指令微调。
• 开发一种负责任的、与法院协作的工具，以测试当前匿名化实践在应对新兴 LLM 能力时的鲁棒性。
• 通过与瑞士联邦最高法院合作，微调法律专用 BERT 模型，将匿名化召回率从 83% 提升至 93%。
• 向法律机构、隐私倡导者和 NLP 实践者通报在 GDPR 及类似法规下，公开法律文件中隐私风险的演变情况。

提出的方法

• 基于匿名化瑞士联邦法院判决书和经筛选的维基百科数据集，构建了一个原型再识别系统，利用 LLM 进行受控测试。
• 提出一种新的再识别任务范式，引入 PNMS（姓名匹配精确率）和 NLD（归一化莱文施泰因距离）等指标以衡量性能。
• 在不同规模的 25 余个 LLM 上进行评估（参数范围从 0.08B 到 1800B），包括 GPT-4、LLaMA-2、BLOOM 和法律专用模型如 Legal-Swiss-RobBERTa。
• 对输入文本前 1,000 个字符使用束搜索和 top-5 预测策略，评估再识别准确性。
• 在瑞士法律文本（Swissdox）上进行预训练，构建法律专用模型，以提升匿名化召回率，使其从 83% 提升至 93%。
• 开展消融研究，以分离模型规模、输入长度和指令微调对再识别成功率的影响。

Figure 1: Re-identification rate by parameter count

实验结果

研究问题

• RQ1 RQ1：不同 LLM 在维基百科页面和瑞士法院判决书中对掩码人员的再识别效果如何？
• RQ2 RQ2：影响 LLM 在再识别任务中表现的关键因素有哪些？
• RQ3 RQ3：随着 LLM 能力的演进及其在再识别中的应用，这些能力将如何影响瑞士匿名化法院判决书中的隐私保护？

主要发现

• 在维基百科数据集上，表现最佳的 LLM（如 GPT-4）实现了 0.71 的 PNMS，表明其在结构良好、信息丰富的文本中具备强大的再识别能力。
• 在真实法院判决书中，即使是最强模型（如 GPT-4）的 PNMS 也仅为 0.71，但 NLD 显著升高至 0.17，表明与真实姓名的匹配度较差。
• 模型规模、输入长度和指令微调被确定为影响再识别成功率的最关键因素，更大规模且经指令微调的模型表现显著更优。
• 表现最佳的模型（GPT-4）在维基百科上的 W-PNMS 为 0.65，但在法院判决书中仅为 0.14，凸显了因数据稀疏性和复杂性导致的性能差距。
• 只有在提供高度筛选的相关新闻文章集合时，模型才能成功再识别匿名被告，凸显了外部上下文在再识别中的关键作用。
• 本研究表明，尽管当前 LLM 尚未有效实现对匿名化法院判决书中个体的再识别，但风险并非为零，且随着模型进步和更优数据整合，风险可能进一步上升。

Figure 2: Categorized predictions for rulings