[논문 리뷰] The Conundrum of Trustworthy Research on Attacking Personally Identifiable Information Removal Techniques

Sebastian Ochs, Ivan Habernal|arXiv (Cornell University)|2026. 03. 09.

Privacy-Preserving Technologies in Data인용 수 0

한 줄 요약

이 논문은 PII 제거에 대한 현재 공격 평가가 어떻게 체계적으로 결함이 있는지 비판적으로 분석하며, 비공개 데이터가 적절한 평가에 필수적임을 주장하고 많은 보고된 공격이 PII 제거 자체의 약점보다는 데이터 누출, 암기 또는 공개 정보에 의존할 수 있음을 보여준다.

ABSTRACT

Removing personally identifiable information (PII) from texts is necessary to comply with various data protection regulations and to enable data sharing without compromising privacy. However, recent works show that documents sanitized by PII removal techniques are vulnerable to reconstruction attacks. Yet, we suspect that the reported success of these attacks is largely overestimated. We critically analyze the evaluation of existing attacks and find that data leakage and data contamination are not properly mitigated, leaving the question whether or not PII removal techniques truly protect privacy in real-world scenarios unaddressed. We investigate possible data sources and attack setups that avoid data leakage and conclude that only truly private data can allow us to objectively evaluate vulnerabilities in PII removal techniques. However, access to private data is heavily restricted - and for good reasons - which also means that the public research community cannot address this problem in a transparent, reproducible, and trustworthy manner.

연구 동기 및 목표

• 제거된 텍스트에 대한 현재 PII 재구성 공격 평가의 타당성을 의문시한다.
• 개인 데이터에 대한 접근이 없으면 공공 연구가 공격이 실제 프라이버시 침해를 드러내는지 여부를 신뢰할 수 있게 판단할 수 없다고 주장한다.
• 공격 성공을 부풀리는 데이터 누출 및 데이터 오염의 원인을 식별한다.
• 원칙에 입각한 공격 설정을 제안하고 PII 보호를 적절히 평가하기 위해 개인 데이터의 필요성을 강조한다.

제안 방법

• 최근 대형 언어 모델(LLM)과 PII 제거 텍스트에 대한 PII 재구성 공격을 제안하는 연구들을 비판적으로 검토한다.
• 공격 성공에 대한 대안 설명으로서 데이터 누출 및 데이터 암기를 검토한다.
• 현실 데이터를 활용한 두 가지 예시 실험(체코 법원 공고와 영어 여행 비디오)을 수행하여 기존 평가의 한계를 설명한다.
• PII 제거 프라이버시 보장의 객관적 평가를 위해 왜 개인 데이터가 필요한지 보여주기 위한 공격 설정을 분석한다.

실험 결과

연구 질문

• RQ1 기존 PII 재구성 공격 평가의 타당성은 근본적으로 결함이 있는가?
• RQ2 실제 민감 데이터에 접근하지 못한 채 공공 연구자들이 PII 재구성 평가의 결함을 해결할 수 있는가?
• RQ3 데이터 누출과 암기가 보고된 공격 성공에서 어떤 역할을 하는가?
• RQ4 노출된 개인 데이터에 의존하지 않는 유효하고 프라이버시를 보장하는 공격 설정은 무엇으로 구성되는가?

주요 결과

• 데이터 누출과 오염으로 인해 PII 재구성 공격의 재식별 점수가 과대 부풀려진다.
• 개인 데이터가 없으면 공격이 개인 정보를 추론하는지 아니면 사전 학습에서 암기된 콘텐츠를 단순히 재생산하는지 식별하기 어렵다.
• 공개 인물이나 널리 이용 가능한 정보를 사용하는 공용 데이터 세트 및 벤치마크는 공격 성공에 편향을 줄 수 있으며 프라이버시 침해와 패턴 매칭을 혼동시킨다.
• 원래 데이터에 대해 미세조정된 모델의 암기에 의존하는 공격은 PII 제거 방법의 프라이버시 위험을 과장할 수 있다.
• 암호화나 DP 프레임워크에서의 형식적 보장과 달리 텍스트 도메인에서 형식적 프라이버시 보장을 달성하는 것은 여전히 어려우며, 텍스트 도메인에서의 형식적 보장에 대한 도전이 남아 있다.