[논문 리뷰] Anonymity at Risk? Assessing Re-Identification Capabilities of Large Language Models

Alex Nyffenegger, Matthias Stürmer외 1명|arXiv (Cornell University)|2023. 08. 22.

Hate Speech and Cyberbullying Detection인용 수 4

한 줄 요약

이 연구는 대규모 언어 모델(Large Language Models, LLMs)의 익명화된 스위스 법원 판결문과 위키백과 기사에서의 재식별 위험을 평가하며, 최신 기술 수준의 모델을 활용한 개념적 검증 프레임워크를 사용한다. 위키백과에서는 높은 성공률를 기록하지만, 실제 법원 결정에서는 데이터 희소성과 복잡성으로 인해 LLMs가 어려움을 겪는다. 다만 모델 크기, 입력 길이, 지시 훈련 등이 성능에 큰 영향을 미치며, 향후 위험 요소가 증가할 가능성이 있어 개선된 익명화 보안 조치가 필요하다.

ABSTRACT

Anonymity of both natural and legal persons in court rulings is a critical aspect of privacy protection in the European Union and Switzerland. With the advent of LLMs, concerns about large-scale re-identification of anonymized persons are growing. In accordance with the Federal Supreme Court of Switzerland, we explore the potential of LLMs to re-identify individuals in court rulings by constructing a proof-of-concept using actual legal data from the Swiss federal supreme court. Following the initial experiment, we constructed an anonymized Wikipedia dataset as a more rigorous testing ground to further investigate the findings. With the introduction and application of the new task of re-identifying people in texts, we also introduce new metrics to measure performance. We systematically analyze the factors that influence successful re-identifications, identifying model size, input length, and instruction tuning among the most critical determinants. Despite high re-identification rates on Wikipedia, even the best LLMs struggled with court decisions. The complexity is attributed to the lack of test datasets, the necessity for substantial training resources, and data sparsity in the information used for re-identification. In conclusion, this study demonstrates that re-identification using LLMs may not be feasible for now, but as the proof-of-concept on Wikipedia showed, it might become possible in the future. We hope that our system can help enhance the confidence in the security of anonymized decisions, thus leading to the courts being more confident to publish decisions.

연구 동기 및 목표

• 익명화된 스위스 연방 법원 판결문 내에서 대규모 언어 모델(Large Language Models)을 활용해 익명화된 개인의 재식별 가능성 평가
• 모델 크기, 입력 길이, 지시 훈련 등이 재식별 작업 성능에 미치는 영향을 조사
• 현재 익명화 방식의 강건성을 새로운 LLM 기술 능력에 대비해 테스트할 수 있는 책임감 있는 법원 협업형 도구 개발
• 스위스 연방 고등법원과 협업하여 법률 전용 BERT 모델을 파인튜닝해 익명화 재현율을 83%에서 93%로 향상
• GDPR 및 유사 규정 하에 발표된 법적 문서에서의 개인정보 위험 변화에 대해 법원 기관, 개인정보 보호 옹호 단체, NLP 전문가들에게 정보 제공

제안 방법

• 익명화된 스위스 연방 법원 판결문과 제어된 테스트를 위한 코어레이티드 위키백과 데이터셋을 활용해 개념적 검증용 재식별 시스템 구축
• 재식별 작업에 새로운 작업 정의를 적용하고, 성능 측정을 위해 PNMS(Precision of Name Matching Score) 및 NLD(Normalized Levenshtein Distance)와 같은 지표 도입
• GPT-4, LLaMA-2, BLOOM, Legal-Swiss-RobBERTa와 같은 법률 전용 모델 포함 25개 이상의 LLM을 활용해 다양한 크기(0.08B에서 1800B 파라미터)로 평가
• 입력 텍스트의 처음 1,000자에 대해 빔 서치 및 상위 5개 예측 전략을 사용해 재식별 정확도 평가
• 스위스 법률 텍스트(Swissdox)를 사전 훈련해 익명화 재현율을 향상시키기 위해 법률 전용 모델을 사전 훈련, 이로 인해 재현율을 83%에서 93%로 증가
• 모델 크기, 입력 길이, 지시 훈련이 재식별 성공에 미치는 영향을 분리해 분석하기 위해 아블레이션 연구 수행

Figure 1: Re-identification rate by parameter count

실험 결과

연구 질문

• RQ1 RQ1: 다양한 LLMs는 위키백과 기사와 스위스 법원 판결문 내에서 마스킹된 개인을 얼마나 효과적으로 재식별할 수 있는가?
• RQ2 RQ2: LLM의 재식별 작업 성능에 영향을 미치는 주요 요인은 무엇인가?
• RQ3 RQ3: 발전하는 LLM 능력과 그들의 재식별 활용이 스위스 익명화된 법원 판결문의 개인정보 보호 유지에 어떤 영향을 미칠 것인가?

주요 결과

• 위키백과 데이터셋에서는 최고 성능을 보인 LLMs(GPT-4 등)가 PNMS 0.71을 기록해, 구조화되고 정보가 풍부한 텍스트에서 강력한 재식별 능력을 보였다.
• 실제 법원 판결문에서는 가장 능력 있는 모델(GPT-4 등)도 PNMS 0.71를 기록했지만, 지표에 비해 상당히 높은 NLD(0.17)를 보여, 참값 이름과의 일치도가 낮음을 시사했다.
• 모델 크기, 입력 길이, 지시 훈련이 재식별 성공에 가장 중요한 요인으로 확인되었으며, 더 크고 지시 훈련된 모델일수록 성능이 뚜렷이 향상되었다.
• 최고 성능 모델(GPT-4)은 위키백과에서는 W-PNMS 0.65를 기록했지만, 법원 판결문에서는 단지 0.14에 머물러 있어, 데이터 희소성과 복잡성으로 인한 성능 격차를 드러냈다.
• 매우 정제된 관련 뉴스 기사 세트가 제공된 경우에만 모델들이 익명화된 피고인을 성공적으로 재식별할 수 있었으며, 이는 외부 맥락이 재식별에 중요한 역할을 한다는 것을 시사했다.
• 본 연구는 현재 LLMs가 익명화된 법원 판결문 내에서 개인을 효과적으로 재식별하지는 못하지만, 위험은 0이 아니며, 모델 발전과 더 나은 데이터 통합이 이루어질 경우 위험은 증가할 수 있음을 입증했다.

Figure 2: Categorized predictions for rulings