[논문 리뷰] Large Language Models are Advanced Anonymizers

Robin Staab, Mark Vero외 2명|arXiv (Cornell University)|2024. 02. 21.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 강력한 적대적 LLM의 피드백을 활용해 텍스트 익명화를 반복적으로 개선하는 새로운 LLM 기반의 적대적 익명화 프레임워크를 제안한다. 이는 기존 도구에 비해 개인정보 보호성과 유용성 측면에서 크게 향상된다. 인간 선호도 평가와 자동 평가 모두에서 Azure 및 GPT-4 기반 기준선보다 뛰어난 성능을 보이며, 소형 양자화된 LLMs가 더 큰 모델의 성능을 따라잡을 수 있도록 한다.

ABSTRACT

Recent privacy research on large language models (LLMs) has shown that they achieve near-human-level performance at inferring personal data from online texts. With ever-increasing model capabilities, existing text anonymization methods are currently lacking behind regulatory requirements and adversarial threats. In this work, we take two steps to bridge this gap: First, we present a new setting for evaluating anonymization in the face of adversarial LLM inferences, allowing for a natural measurement of anonymization performance while remedying some of the shortcomings of previous metrics. Then, within this setting, we develop a novel LLM-based adversarial anonymization framework leveraging the strong inferential capabilities of LLMs to inform our anonymization procedure. We conduct a comprehensive experimental evaluation of adversarial anonymization across 13 LLMs on real-world and synthetic online texts, comparing it against multiple baselines and industry-grade anonymizers. Our evaluation shows that adversarial anonymization outperforms current commercial anonymizers both in terms of the resulting utility and privacy. We support our findings with a human study (n=50) highlighting a strong and consistent human preference for LLM-anonymized texts.

연구 동기 및 목표

• 이름 없는 온라인 텍스트에서 LLM이 개인적 특성을 간접적으로 유추하는 증가하는 위협에 대응하기 위해.
• 현재 산업 표준 익명화 도구가 맥락에 의존하는 간접적 개인정보 泄露를 탐지하지 못하는 한계를 극복하기 위해.
• LLM의 추론 능력을 활용해 피드백 기반의 적대적 익명화 프레임워크를 개발하여 익명화 품질을 향상시키기 위해.
• 실제 적대적 추론 조건 하에서 익명화 성능을 평가하고, 규제 개인정보 기준과 일치시키기 위해.
• 고성능 익명화를 더 작고 효율적이며 잠재적으로 엣지에 배포 가능한 모델로 압축하는 것이 가능한지 탐색하기 위해.

제안 방법

• 프레임워크는 이중 LLM 아키텍처를 사용한다: 한 명의 적대적 LLM이 현재 텍스트 버전에 대해 반복적으로 특성 추론을 수행한다.
• 추론 결과를 바탕으로 별도의 익명화 LLM이 개인정보를 드러내는 신호를 제거하거나 흐리게 하거나 일반화함으로써 텍스트를 수정한다.
• 여러 라운드에 걸쳐 반복적으로 진행되며, 각 반복에서 텍스트가 추론 성공률를 낮추면서도 유용성을 유지하도록 정교해진다.
• 익명화는 적대적 추론 설정 하에서 평가되며, 최종 출력물이 강력한 LLM 적대자에 의해 특성 예측에 대해 테스트된다.
• LoRA 파인테이닝을 통해 더 큰 모델들(예: Llama3.1-70B)의 합성 데이터 및 예시를 활용해 더 작은 모델들(예: Llama3.1-8B)을 파인튜닝한다.
• 인간 연구(n=50)를 통해 독해성, 의미, 일반성, 사용성 등에 대해 익명화된 텍스트를 평가하여 실제 환경에서의 성능을 검증한다.

실험 결과

연구 질문

• RQ1 적대적 LLM은 기존 도구가 간과하는 맥락에 의존하는 개인정보 泄露를 효과적으로 식별할 수 있는가?
• RQ2 정적 익명화에 비해 피드백 기반의 반복적 LLM 기반 익명화 과정이 개인정보 보호성과 유용성 측면에서 향상되는가?
• RQ3 작고 양자화된 LLM은 적대적 익명화에서 더 큰 모델과 유사한 성능을 낼 수 있는가?
• RQ4 LLM 기반 익명화 도구와 상용 도구 간에 인간의 선호도는 독해성, 의미, 사용성 측면에서 어떻게 다를까?
• RQ5 LLM 기반 평가와 인간 평가 간에 익명화 출력물의 의미와 독해성에 대해 얼마나 일치하는가?

주요 결과

• 적대적 익명화 프레임워크는 적대적 추론 정확도와 인간 평가를 기준으로 Azure 및 GPT-4 기반 익명화 도구에 비해 개인정보 보호성과 유용성 측면에서 뚜렷한 우월성을 보였다.
• 인간 선호도 연구(n=50)에서 LLM 기반 익명화 텍스트는 독해성, 의미, 사용성 측면에서 상용 도구로 처리된 텍스트보다 강력하고 일관된 선호도를 보였다.
• 4비트 양자화된 파인튜닝된 Llama3.1-8B 모델은 개인정보-유용성 트레이드오프 측면에서 전체 70B 모델과 매우 유사한 성능을 달성하여 효율적 배포 가능성의 타당성을 입증했다.
• LLM 기반 평가에서 LLM으로 익명화된 텍스트의 의미와 독해성에 대한 평가가 인간 평가와 잘 일치하는 반면, Azure로 익명화된 텍스트는 인간보다 LLM이 더 독해하기 쉬우며 의미가 있다고 평가했다.
• 작고 로컬에 배포된 LLM들조차도 상용 익명화 도구보다 개인정보 보호성과 유용성 측면에서 뛰어나, 스케일러블하고 기기 내에서 작동하는 개인정보 보호의 길을 열어준다.
• 프레임워크는 전통적인 엔티티 인식 도구가 다루지 못하는 간접적 개인정보 泄露(예: 문화적 참조로 인한 위치 유추)까지 성공적으로 식별하고 완화했다.