[논문 리뷰] The Text Anonymization Benchmark (TAB): A Dedicated Corpus and Evaluation Framework for Text Anonymization

Ildikó Pilán, Pierre Lison외 4명|arXiv (Cornell University)|2022. 01. 25.

Hate Speech and Cyberbullying Detection인용 수 5

한 줄 요약

이 논문은 개인신원정보에 대한 철저한 주석이 달린, 1,268건의 익명화된 유럽인권재판소 판례로 구성된 오픈소스로, 개인정보 보호를 목적으로 한 TAB(Text Anonymization Benchmark)을 소개한다. 주석에는 의미적 카테고리, 식별자 유형, 기밀 속성, 공존관계가 포함된다. 이 벤치마크는 개인정보 보호와 자료 유용성의 균형을 고려한 새로운 평가 지표를 통해 텍스트 익명화 방법의 엄밀한 평가를 가능하게 하며, 표준 NER 기반의 익명화 방법이 고도로 훈련된 언어 모델에 비해 약한 개인정보 보호 기능을 제공한다는 점을 입증한다.

ABSTRACT

We present a novel benchmark and associated evaluation metrics for assessing the performance of text anonymization methods. Text anonymization, defined as the task of editing a text document to prevent the disclosure of personal information, currently suffers from a shortage of privacy-oriented annotated text resources, making it difficult to properly evaluate the level of privacy protection offered by various anonymization methods. This paper presents TAB (Text Anonymization Benchmark), a new, open-source annotated corpus developed to address this shortage. The corpus comprises 1,268 English-language court cases from the European Court of Human Rights (ECHR) enriched with comprehensive annotations about the personal information appearing in each document, including their semantic category, identifier type, confidential attributes, and co-reference relations. Compared to previous work, the TAB corpus is designed to go beyond traditional de-identification (which is limited to the detection of predefined semantic categories), and explicitly marks which text spans ought to be masked in order to conceal the identity of the person to be protected. Along with presenting the corpus and its annotation layers, we also propose a set of evaluation metrics that are specifically tailored towards measuring the performance of text anonymization, both in terms of privacy protection and utility preservation. We illustrate the use of the benchmark and the proposed metrics by assessing the empirical performance of several baseline text anonymization models. The full corpus along with its privacy-oriented annotation guidelines, evaluation scripts and baseline models are available on: https://github.com/NorskRegnesentral/text-anonymisation-benchmark

연구 동기 및 목표

• 텍스트 익명화 방법을 평가하기 위한 개인정보 중심의 주석이 달린 코퍼스 부족 문제를 해결하기 위해.
• 기존의 전통적인 익명화 방식을 넘어, 재식별 가능성을 방지하기 위해 반드시 익명화되어야 할 텍스트 스트링을 명시적으로 표기하는 벤치마크를 개발하기 위해.
• 기존의 표준 IR 기반 지표를 넘어서, 개인정보 보호와 자료 유용성 유지의 균형을 반영한 평가 지표를 제안하기 위해.
• 텍스트 익명화 모델 간 비교 및 향상에 사용할 수 있는 표준화된 오픈소스 프레임워크를 제공하기 위해.
• 최신 NLP 모델이 GDPR 기준에 부합하는 진정한 익명화를 달성하는 데에 실패하고 있음을 입증하기 위해.

제안 방법

• TAB 코퍼스는 1,268건의 영문 유럽인권재판소 판례에서 유래되었으며, 개인정보 관련 스트링에 대해 세밀한 주석을 부여하였다.
• 주석에는 의미적 카테고리, 식별자 유형, 기밀 속성, 공존관계가 포함되어 있어 정확한 익명화 결정을 지원한다.
• 주석자들은 GDPR 준수, 도메인에 관계없는 가이드라인을 기반으로 하였으며, 재식별 위험을 판단할 때 공공에 공개된 지식도 고려하도록 지시받았다.
• 평가 프레임워크는 각 용어의 유출 위험도와 정보량에 따라 가중치를 적용한 마이크로 평균 지표를 사용하여 개인정보 보호와 자료 유용성 양측을 평가한다.
• 제안된 지표를 사용해 기준 모델을 평가하였으며, 표준 NER 모델과 익명화를 위한 미세조정된 사전학습된 언어 모델이 포함되어 있다.
• 벤치마크에는 주석 가이드라인, 평가 스크립트, 기준 모델이 포함되어 있으며, 재현 가능성과 커뮤니티 활용을 위해 GitHub에 배포되어 있다.

실험 결과

연구 질문

• RQ1 어떻게 표준화되고 개인정보 중심의 코퍼스를 구성하여 텍스트 익명화 방법의 엄밀한 평가를 지원할 수 있는가?
• RQ2 기존의 NLP 기반 익명화 방법은 GDPR 기준 하에서 충분한 개인정보 보호를 제공하는가?
• RQ3 텍스트 익명화에서 개인정보 보호와 자료 유용성 유지의 균형을 반영할 수 있는 평가 지표는 어떻게 설계할 수 있는가?
• RQ4 미세조정된 사전학습된 언어 모델이 전통적인 NER 기반 접근 방식보다 익명화 작업에서 뛰어난 성능을 보일 수 있는가?
• RQ5 재식별 위험도와 주석 요구사항 측면에서, 익명화와 진정한 익명화의 핵심적 차이는 무엇인가?

주요 결과

• 표준 NER 기반 익명화 방법은 직접 식별자 외에도 직업, 외모, 정치적 견해와 같은 간접 식별자를 익명화하지 못해 약한 개인정보 보호 기능을 제공한다.
• 미세조정된 사전학습된 언어 모델은 전통적인 NER 접근 방식에 비해 더 강력한 개인정보 보호 기능을 제공하면서도 더 높은 자료 유용성을 유지한다.
• 제안된 평가 지표는 유출 위험도와 정보량에 따라 용어에 가중치를 적용함으로써 개인정보 보호와 유용성 간의 상호균형을 효과적으로 반영한다.
• TAB 코퍼스는 사전 정의된 엔티티 유형을 넘어서 반드시 익명화되어야 할 스트링을 명시적으로 표기함으로써 익명화 성능 평가의 정확도를 높인다.
• 벤치마크는 많은 잠재적 재식별 가능 요소들이 표준 익명화 파이프라인에서 빠지게 되는 것을 드러내며, 더 넓은 범위의 익명화 전략이 필요함을 시사한다.
• 코퍼스와 평가 프레임워크는 GitHub에 공개되어 있어 재현 가능한 연구와 커뮤니티 기반의 텍스트 익명화 기술 향상이 가능하다.