[論文レビュー] The Text Anonymization Benchmark (TAB): A Dedicated Corpus and Evaluation Framework for Text Anonymization

Ildikó Pilán, Pierre Lison+4 more|arXiv (Cornell University)|Jan 25, 2022

Hate Speech and Cyberbullying Detection被引用数 5

ひとこと要約

本稿では、1,268件の個人識別情報（PII）を含む欧州人権裁判所の判例を含む、プライバシー指向のオープンソースコーパスであるTAB（Text Anonymization Benchmark）を紹介する。このコーパスには、意味的カテゴリ、識別子タイプ、機密属性、共参照関係を含む包括的なアノテーションが付与されており、テキスト匿名化手法の厳密な評価を可能にする。本ベンチマークは、プライバシー保護とデータ利用価値の両立を考慮した新規メトリクスを採用しており、標準的なNERベースの脱識別手法が、ファインチューニングされた言語モデルに比べて弱いプライバシー保護を提供することが示された。

ABSTRACT

We present a novel benchmark and associated evaluation metrics for assessing the performance of text anonymization methods. Text anonymization, defined as the task of editing a text document to prevent the disclosure of personal information, currently suffers from a shortage of privacy-oriented annotated text resources, making it difficult to properly evaluate the level of privacy protection offered by various anonymization methods. This paper presents TAB (Text Anonymization Benchmark), a new, open-source annotated corpus developed to address this shortage. The corpus comprises 1,268 English-language court cases from the European Court of Human Rights (ECHR) enriched with comprehensive annotations about the personal information appearing in each document, including their semantic category, identifier type, confidential attributes, and co-reference relations. Compared to previous work, the TAB corpus is designed to go beyond traditional de-identification (which is limited to the detection of predefined semantic categories), and explicitly marks which text spans ought to be masked in order to conceal the identity of the person to be protected. Along with presenting the corpus and its annotation layers, we also propose a set of evaluation metrics that are specifically tailored towards measuring the performance of text anonymization, both in terms of privacy protection and utility preservation. We illustrate the use of the benchmark and the proposed metrics by assessing the empirical performance of several baseline text anonymization models. The full corpus along with its privacy-oriented annotation guidelines, evaluation scripts and baseline models are available on: https://github.com/NorskRegnesentral/text-anonymisation-benchmark

研究の動機と目的

• テキスト匿名化手法を評価するためのプライバシー指向のアノテート済みコーパスの不足に対処すること。
• 従来の脱識別化を越えて、再識別を防ぐためにマスクすべきテキストスパンを明示的にマークするベンチマークの開発。
• プライバシー保護とデータ利用価値の両立を反映する評価メトリクスの設計。標準的な情報検索ベースのメトリクスを超えるもの。
• テキスト匿名化モデルの比較・改善を可能にする標準化されたオープンソースフレームワークの提供。
• 最新のNLPモデルによる脱識別化が、GDPR基準に基づく真正の匿名化を達成できていないことを実証すること。

提案手法

• TABコーパスは、1,268件の英語表記のECHR判例から構築され、プライバシー関連のスパンを詳細にアノテートしている。
• アノテーションには、意味的カテゴリ、識別子タイプ、機密属性、共参照関係が含まれ、正確なマスク意思決定を支援する。
• アノテーターはGDPR準拠でドメインに依存しないガイドラインに従い、再識別リスクを評価するにあたり、一般に公開されている知識を考慮するよう指示された。
• 評価フレームワークでは、漏洩リスクと情報含量に基づいて用語に重みを付けるマイクロ平均メトリクスを用い、プライバシー保護と利用価値の両方を評価する。
• 提案されたメトリクスを用いて、標準的なNERモデルと匿名化用にファインチューニングされた事前学習言語モデルを含むベースラインモデルを評価した。
• ベンチマークにはアノテーションガイドライン、評価スクリプト、ベースラインモデルが含まれており、再現性とコミュニティ利用を目的にGitHubにホスティングされている。

実験結果

リサーチクエスチョン

• RQ1 標準化されたプライバシー指向のコーパスをどのように構築すれば、テキスト匿名化手法の厳密な評価を可能にするか？
• RQ2 既存のNLPベースの脱識別化手法は、GDPR基準下で十分なプライバシー保護を提供していると言えるか？
• RQ3 テキスト匿名化において、プライバシー保護と利用価値の両立を反映する評価メトリクスをどのように設計できるか？
• RQ4 ファインチューニングされた事前学習言語モデルは、従来のNERベースのアプローチを上回る匿名化性能を発揮できるか？
• RQ5 再識別リスクとアノテーション要件の観点から、脱識別化と真正の匿名化の主な違いは何か？

主な発見

• 標準的なNERベースの脱識別化手法は、職業、外見、政治的意見などの間接的識別子をマスクできないため、弱いプライバシー保護を提供する。
• ファインチューニングされた事前学習言語モデルは、従来のNERアプローチに比べてより強いプライバシー保護を実現するとともに、高いデータ利用価値を維持している。
• 提案された評価メトリクスは、漏洩リスクと情報含量に基づいて用語に重みを付けることで、プライバシーと利用価値のトレードオフを効果的に捉えている。
• TABコーパスは、事前に定義されたエンティティタイプを超えて、マスクすべきスパンを明示的にマークすることで、匿名化性能のより正確な評価を可能にする。
• ベンチマークは、標準的な脱識別パイプラインが多くの再識別可能性のある要素を見逃していることを明らかにし、より広範な匿名化戦略の必要性を示唆している。
• コーパスと評価フレームワークはGitHubで公開されており、再現可能な研究とコミュニティ主導のテキスト匿名化技術の改善を可能としている。