[논문 리뷰] Quantifying Association Capabilities of Large Language Models and Its Implications on Privacy Leakage

Hanyin Shao, Jie Huang외 2명|arXiv (Cornell University)|2023. 05. 22.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)이 개인식별정보(PII)를 개인과 연결짓는 데 있어서의 연관 능력을 정량화하며, 더 큰 모델일수록 특히 훈련 데이터에서 PII가 자주 또는 가까이 공시되는 경우 더 강한 연관 능력을 보임을 밝혀냈다. 일반 지식에 비해 PII에 대한 전체 정확도는 낮지만, 이름을 입력으로 주었을 때도 모델들이 이메일 주소의 3%와 전화번호의 1%를 정확히 예측하는 것으로 나타나, 비트리비얼한 개인정보 泄露 위험이 있음을 시사한다.

ABSTRACT

The advancement of large language models (LLMs) brings notable improvements across various applications, while simultaneously raising concerns about potential private data exposure. One notable capability of LLMs is their ability to form associations between different pieces of information, but this raises concerns when it comes to personally identifiable information (PII). This paper delves into the association capabilities of language models, aiming to uncover the factors that influence their proficiency in associating information. Our study reveals that as models scale up, their capacity to associate entities/information intensifies, particularly when target pairs demonstrate shorter co-occurrence distances or higher co-occurrence frequencies. However, there is a distinct performance gap when associating commonsense knowledge versus PII, with the latter showing lower accuracy. Despite the proportion of accurately predicted PII being relatively small, LLMs still demonstrate the capability to predict specific instances of email addresses and phone numbers when provided with appropriate prompts. These findings underscore the potential risk to PII confidentiality posed by the evolving capabilities of LLMs, especially as they continue to expand in scale and power.

연구 동기 및 목표

• 언어 모델이 문맥 기반 프롬프트를 통해 개인식별정보(PII)를 개인과 어떻게 연관시키는지 조사하기 위해.
• 모델 규모, 공시 빈도, 공시 거리가 연관 성능에 미치는 영향을 측정하기 위해.
• Enron 이메일과 LAMA라는 두 가지 별개의 데이터셋에서 PII와 일반 지식 간의 연관 능력을 비교하기 위해.
• 점점 더 강력해지는 LLM에서 기억 외의 연관으로 인한 PII 泄露 위험을 평가하기 위해.
• 배포된 LLM에서 PII 泄露를 줄이기 위한 실질적인 완화 전략을 제공하기 위해.

제안 방법

• 연구는 두 가지 데이터셋을 사용하여 다양한 크기의 LLM을 평가한다: 하나는 이메일 교환 데이터(Enron)로 PII 연관을 위해 사용하고, 다른 하나는 일반 지식을 위해 사용하는 LAMA이다.
• 연관 성능는 모델에 사람의 이름을 프롬프트로 주고, 해당 이름에 대응하는 PII(예: 이메일 주소, 전화번호)를 예측할 수 있는 능력으로 측정된다.
• 훈련 데이터에서 엔티티 쌍 간의 공시 빈도와 거리를 정량화하고, 이를 모델 예측 정확도와 상관관계 분석한다.
• 모델 크기의 차이에 따른 성능 비교를 통해 모델 규모 증가가 연관 능력에 미치는 영향을 분석한다.
• PII 泄露 위험 감소를 위한 완화 전략으로 프롬프트 필터링, 입력/출력 콘텐츠 필터링, API 요청 빈도 제한을 제안한다.
• 모든 실험은 공개된 모델과 데이터를 사용하여 수행되었으며, 개인정보 유출 방지를 위해 PII는 익명화 처리되었다(예: 'John Doe', '[e-mail]'). 이는 윤리적 준수를 확보하기 위함이다.

실험 결과

연구 질문

• RQ1 모델 규모가 LLM이 PII를 개인과 연관짓는 데 미치는 영향은 어떠한가?
• RQ2 엔티티 간의 공시 빈도와 거리가 LLM의 연관 정확도에 얼마나 영향을 미치는가?
• RQ3 LLM에서 PII에 대한 연관 성능는 일반 지식에 비해 어떻게 다른가?
• RQ4 사람의 이름만을 프롬프트로 주었을 때 LLM이 특정 PII(예: 이메일 주소, 전화번호)를 정확히 예측할 수 있는가?
• RQ5 배포된 LLM에서 연관에 의한 PII 泄露를 줄이기 위해 가장 효과적인 완화 전략은 무엇인가?

주요 결과

• 더 큰 언어 모델일수록 특히 훈련 데이터에서 공시 빈도가 높고 공시 거리가 짧은 엔티티에 대해 뚜렷한 강력한 연관 능력을 보였다.
• 전반적인 정확도는 낮지만, 사람의 이름을 입력으로 주었을 때도 LLM은 약 3%의 이메일 주소와 1%의 전화번호를 정확히 예측할 수 있었다.
• PII에 대한 연관 성능는 일반 지식에 비해 상당히 낮아, 일반 지식과 민감한 개인 정보 간의 성능 격차가 있음을 시사한다.
• LLM의 모델 규모 증가에 따라 연관 능력은 향상되지만, 어느 정도 이상에서는 성능 향상 폭이 둔화되어 수익 감소 현상이 나타남을 보여주었다.
• 훈련 데이터의 품질과 작업의 복잡도가 모델의 PII 연관 능력에 크게 영향을 미치며, 노이즈가 많거나 더 복잡한 데이터일수록 성능이 저하됨을 확인했다.
• LLM이 일반 지식을 더 잘 연관시키는 능력을 갖게 될수록, 동시에 PII 연관 능력도 증가하여, 사전에 개인정보 보호 조치가 필요하다.