[論文レビュー] No Intruder, no Validity: Evaluation Criteria for Privacy-Preserving Text Anonymization

Maximilian Mozes, Bennett Kleinberg|arXiv (Cornell University)|Mar 16, 2021

Privacy-Preserving Technologies in Data参考文献 10被引用数 8

ひとこと要約

本論文は、技術的検出性能、情報損失（有用性および構造的損失）、人間による再匿名化抵抗性を統合する包括的なプライバシー保護テキスト匿名化評価フレームワークTILDを提案する。技術的指標に依存するだけではプライバシーを確保できないことが示されており、たった一つの識別属性が欠落している場合でも再識別が可能になるため、匿名化の堅牢性を検証するための人間を含むペネトレーションテストの導入を提唱する。

ABSTRACT

For sensitive text data to be shared among NLP researchers and practitioners, shared documents need to comply with data protection and privacy laws. There is hence a growing interest in automated approaches for text anonymization. However, measuring such methods' performance is challenging: missing a single identifying attribute can reveal an individual's identity. In this paper, we draw attention to this problem and argue that researchers and practitioners developing automated text anonymization systems should carefully assess whether their evaluation methods truly reflect the system's ability to protect individuals from being re-identified. We then propose TILD, a set of evaluation criteria that comprises an anonymization method's technical performance, the information loss resulting from its anonymization, and the human ability to de-anonymize redacted documents. These criteria may facilitate progress towards a standardized way for measuring anonymization performance.

研究の動機と目的

• 自動化されたテキスト匿名化システムの評価基準における重要なギャップに対処すること。現有的な技術的パフォーマンスが高くても、再識別リスクが無視されがちな点を改善する。
• 現在の評価手法が、識別属性が一つでも欠落すると匿名性が崩れるなど、現実のプライバシー保護ニーズを反映していないと主張すること。
• 技術的検出、情報損失、人間による再匿名化テストを統合した標準化された多面的評価フレームワークTILDを提案することにより、匿名化システムの信頼性と比較可能性を向上させること。
• 研究者および実務家が、システムの真のプライバシー保護能力を反映するより厳密な評価手法を採用するよう促すこと。

提案手法

• 技術的ツール評価、情報損失の評価、再匿名化テストの3本立ての評価フレームワークTILDを提案する。
• 個人識別情報（PII）の検出精度を評価するために、標準的なNLP指標（例：正確率、再現率）を用いる。
• 統計的検定を用いて、オリジナルテキストと匿名化済みテキストにおけるモデルパフォーマンス（例：センチメント分類）の差を測定することで、有用性損失を測定する。
• 言語的特徴（例：センチメント、構文的複雑さ）を用いて、高次なテキスト特性における歪みを検出することで、構造的損失を評価する。
• クラウドソーシングプラットフォーム（例：MTurk や Prolific Academic）を用いた人間による侵入者テストを実施。参加者は公開リソースを用いて個人の再識別を試みる。
• 成功した再匿名化の回数を総試行回数で割った比率を、現実の再識別リスクを模倣する主要なパフォーマンス指標として扱う。

実験結果

リサーチクエスチョン

• RQ1 現在の技術的評価指標のみで、テキスト匿名化システムが真に個人のプライバシーを保護できることを保証できるか？
• RQ2 匿名化はテキストデータの言語的および予測的有用性にどの程度影響を及ぼし、その損失はどのように定量的に測定できるか？
• RQ3 意図的かつ動機付けられた人間の侵入者が、公開可能な情報を利用して匿名化済みテキストから個人を再識別できるか。その成功率はどの程度か？
• RQ4 技術的、言語的、人的基準を組み合わせた評価において、異なる匿名化システムどうしがどの程度比較可能か？

主な発見

• 技術的検出指標に依存する既存の評価基準は不十分であり、たった一つの識別属性が欠落している場合でも再識別が可能になるケースを検出できない。
• 有用性損失および構造的損失の両方を定量的に測定可能であり、匿名化データが二次的分析に適しているかどうかを判断する上で極めて重要な要因である。
• 特にクラウドソーシングを用いたペネトレーションテストによる人間による再匿名化テストは、自動化された指標では見逃される脆弱性を明らかにし、成功した再識別はシステムの失敗を示す。
• 提案されたTILDフレームワークは、標準化された多面的評価アプローチを提供し、プライバシー保護NLP分野における透明性と信頼性を向上させる。
• たとえ匿名化の際にわずかな省略（例：ニックネームや固有の参照の欠落）が生じても、再識別リスクが著しく上昇し、結果として匿名化の全般的な努力が無効化されることがある。