[论文解读] The Text Anonymization Benchmark (TAB): A Dedicated Corpus and Evaluation Framework for Text Anonymization

Ildikó Pilán, Pierre Lison+4 more|arXiv (Cornell University)|Jan 25, 2022

Hate Speech and Cyberbullying Detection被引用 5

一句话总结

本文介绍了TAB（文本匿名化基准），这是一个开源的、以隐私为中心的语料库，包含1,268篇经欧洲人权法院裁定的案件，对个人身份信息进行了全面标注，涵盖语义类别、标识符类型、机密属性以及共指关系。该基准通过新颖的评估指标，实现了对文本匿名化方法的严格评估，这些指标在隐私保护与信息效用之间取得平衡，表明与微调的语言模型相比，标准的命名实体识别（NER）方法在隐私保护方面表现较弱。

ABSTRACT

We present a novel benchmark and associated evaluation metrics for assessing the performance of text anonymization methods. Text anonymization, defined as the task of editing a text document to prevent the disclosure of personal information, currently suffers from a shortage of privacy-oriented annotated text resources, making it difficult to properly evaluate the level of privacy protection offered by various anonymization methods. This paper presents TAB (Text Anonymization Benchmark), a new, open-source annotated corpus developed to address this shortage. The corpus comprises 1,268 English-language court cases from the European Court of Human Rights (ECHR) enriched with comprehensive annotations about the personal information appearing in each document, including their semantic category, identifier type, confidential attributes, and co-reference relations. Compared to previous work, the TAB corpus is designed to go beyond traditional de-identification (which is limited to the detection of predefined semantic categories), and explicitly marks which text spans ought to be masked in order to conceal the identity of the person to be protected. Along with presenting the corpus and its annotation layers, we also propose a set of evaluation metrics that are specifically tailored towards measuring the performance of text anonymization, both in terms of privacy protection and utility preservation. We illustrate the use of the benchmark and the proposed metrics by assessing the empirical performance of several baseline text anonymization models. The full corpus along with its privacy-oriented annotation guidelines, evaluation scripts and baseline models are available on: https://github.com/NorskRegnesentral/text-anonymisation-benchmark

研究动机与目标

• 为评估文本匿名化方法而解决缺乏以隐私为重点的标注语料库的问题。
• 开发一个超越传统去标识化的基准，明确标记出必须屏蔽的文本片段，以防止重新识别。
• 提出兼顾隐私保护与数据效用保留的评估指标，超越传统的基于信息检索（IR）的指标。
• 提供一个标准化的开源框架，用于比较和改进文本匿名化模型。
• 证明当前最先进的去标识化NLP模型在符合GDPR标准方面仍无法实现真正的匿名化。

提出的方法

• TAB语料库基于1,268篇英文的欧洲人权法院案件构建，对隐私相关文本片段进行了详细标注。
• 标注内容包括语义类别、标识符类型、机密属性以及共指关系，以支持准确的屏蔽决策。
• 标注人员依据符合GDPR的、领域无关的指南进行操作，并被指示在判断重新识别风险时考虑公开可获取的知识。
• 评估框架采用基于术语披露风险与信息含量加权的微观平均指标，以评估隐私与效用。
• 使用所提出的指标评估基线模型，包括标准NER模型与微调的预训练语言模型。
• 该基准包含标注指南、评估脚本与基线模型，所有内容均托管于GitHub，以确保可复现性与社区使用。

实验结果

研究问题

• RQ1 如何构建一个标准化的、以隐私为重点的语料库，以支持对文本匿名化方法的严格评估？
• RQ2 现有基于NLP的去标识化方法在GDPR标准下能提供多大程度的隐私保护？
• RQ3 如何设计评估指标，以反映文本匿名化中隐私保护与效用保留的双重需求？
• RQ4 微调的预训练语言模型是否能在匿名化任务中优于传统的NER方法？
• RQ5 在重新识别风险与标注需求方面，去标识化与真正匿名化之间存在哪些关键差异？

主要发现

• 标准NER方法在去标识化中提供较弱的隐私保护，因为其未能屏蔽如职业、外貌或政治观点等间接标识符。
• 微调的预训练语言模型在保护隐私的同时，比传统NER方法保留了更高的数据效用。
• 所提出的评估指标通过基于披露风险与信息含量对术语加权，有效捕捉了隐私与效用之间的权衡。
• TAB语料库通过明确标记必须屏蔽的文本片段，使匿名化性能评估更加准确，超越了预定义的实体类型。
• 该基准揭示了标准去标识化流水线常遗漏许多潜在的重新识别元素，凸显了采用更广泛匿名化策略的必要性。
• 该语料库与评估框架已公开发布于GitHub，支持可复现研究与社区驱动的文本匿名化技术改进。