[論文レビュー] The Conundrum of Trustworthy Research on Attacking Personally Identifiable Information Removal Techniques

Sebastian Ochs, Ivan Habernal|arXiv (Cornell University)|Mar 9, 2026

Privacy-Preserving Technologies in Data被引用数 0

ひとこと要約

この論文は、PII除去への攻撃評価が現状どのように不適切であるかを批判的に分析し、適切な評価には秘密データが不可欠であると主張するとともに、多くの報告された攻撃がPII除去自体の弱点ではなくデータ漏洩・ memorization・公開情報に依存している可能性を示す。

ABSTRACT

Removing personally identifiable information (PII) from texts is necessary to comply with various data protection regulations and to enable data sharing without compromising privacy. However, recent works show that documents sanitized by PII removal techniques are vulnerable to reconstruction attacks. Yet, we suspect that the reported success of these attacks is largely overestimated. We critically analyze the evaluation of existing attacks and find that data leakage and data contamination are not properly mitigated, leaving the question whether or not PII removal techniques truly protect privacy in real-world scenarios unaddressed. We investigate possible data sources and attack setups that avoid data leakage and conclude that only truly private data can allow us to objectively evaluate vulnerabilities in PII removal techniques. However, access to private data is heavily restricted - and for good reasons - which also means that the public research community cannot address this problem in a transparent, reproducible, and trustworthy manner.

研究の動機と目的

• 現在のPII再構成攻撃評価が除去 Textsに対して妥当かを問う。
• 秘密データへのアクセスがない場合、公開研究が攻撃が真のプライバシー侵害を明らかにしているかを信頼性高く判断できないと主張する。
• データ漏洩とデータ汚染の原因を特定し、攻撃成功を過大に評価する要因を指摘する。
• PII保護を適切に評価するために秘密データの必要性を強調し、原理的な攻撃設定を提案する。

提案手法

• LLMsとPII除去テキストに対するPII再構成攻撃を提案する最近の研究を批判的に検討する。
• 攻撃成功の別の説明としてデータ漏洩とデータ記憶の可能性を検討する。
• 実世界データ（チェコ裁判所告示と英語の旅行動画）を用いた二つの例示実験を実施し、既存評価の限界を示す。
• 攻撃設定を分析し、PII除去のプライバシー保護保証を客観的に評価するには秘密データが必要である理由を示す。

実験結果

リサーチクエスチョン

• RQ1 PII再構成攻撃の既存評価は本質的に欠陥があるのか。
• RQ2 公開データしかない状況で、PII再構成評価の欠陥を公的研究者が是正できないのか。
• RQ3 データ漏洩と記憶化は報告された攻撃の成功にどのような役割を果たすのか。
• RQ4 露出した秘密データに依存しない、妥当でプライバシーを保護する攻撃設定とは何か。

主な発見

• PII再構成攻撃の現在の評価はデータ漏洩と汚染により再識別スコアを過大評価している。
• 秘密データがなければ、攻撃が秘密情報を推測しているのか、それとも事前学習からのmemorized内容を単に再現しているのかを見分けるのは難しい。
• 公開データセットと公開の有名人や広く入手可能な情報を用いたベンチマークは攻撃成功を偏らせ、プライバシー侵害とパターンマッチングを混同させる。
• 元のデータでファインチューニングされたモデルが memorization に依存する攻撃は、PII除去手法のプライバシーリスクを過大評価する可能性がある。
• テキスト領域における形式的なプライバシー保証（例：差分プライバシー）を正式に確保することは難しく、暗号技術やDPフレームワークの正式保証と比較して課題が残る。