[논문 리뷰] What can we learn from Data Leakage and Unlearning for Law?

Jaydeep Borkar|arXiv (Cornell University)|2023. 07. 19.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 피인법된 대규모 언어 모델(Large Language Models, LLMs)에서의 데이터 泄露와 unlearning(잊기)를 조사하며, 사전학습 및 피인법 데이터—개인식별정보(PII) 포함—가 텍스트 생성 중에 泄露될 수 있음을 입증한다. 또한, 고위험 데이터 포인트를 잊는 것은 이전에 안전한 데이터 포인트의 취약성을 간접적으로 증가시킬 수 있으며, 이를 '양파 효과'라 명명한다. 이는 LLM의 구현에 있어 중요한 개인정보 보호 및 법적 문제를 제기한다.

ABSTRACT

Large Language Models (LLMs) have a privacy concern because they memorize training data (including personally identifiable information (PII) like emails and phone numbers) and leak it during inference. A company can train an LLM on its domain-customized data which can potentially also include their users' PII. In order to comply with privacy laws such as the "right to be forgotten", the data points of users that are most vulnerable to extraction could be deleted. We find that once the most vulnerable points are deleted, a new set of points become vulnerable to extraction. So far, little attention has been given to understanding memorization for fine-tuned models. In this work, we also show that not only do fine-tuned models leak their training data but they also leak the pre-training data (and PII) memorized during the pre-training phase. The property of new data points becoming vulnerable to extraction after unlearning and leakage of pre-training data through fine-tuned models can pose significant privacy and legal concerns for companies that use LLMs to offer services. We hope this work will start an interdisciplinary discussion within AI and law communities regarding the need for policies to tackle these issues.

연구 동기 및 목표

• 피인법된 LLM이 텍스트 생성 중에 사전학습 및 피인법 데이터셋에서 유래한 데이터를 泄露할 수 있는지 조사하기.
• 특히 PII에 관해, unlearning이 데이터셋의 나머지 데이터 포인트의 개인정보 보호에 미치는 영향을 검토하기.
• 특히 '잊힐 권리' 및 데이터 보호 규정의 맥락에서, LLM 내 데이터 泄露의 법적 및 개인정보 보호적 영향을 탐색하기.
• 데이터 泄露 및 unlearning의 부작용을 완화하기 위한 정책적 요구사항을 논의하기 위해 AI 및 법학 분야 간의 다학제적 토론을 시작하기.

제안 방법

• 도메인 특화 피인법 모델에서의 데이터 泄露를 평가하기 위해 WikiText-103 및 WikiText-2 데이터셋에 대해 GPT-2를 피인법한다.
• 시작 시퀀스 토큰과 임의의 Common Crawl 토큰을 프롬프트로 사용하여 top-k 샘플링(k=40)을 통해 2000개의 텍스트 샘플을 생성한다.
• fine-tuning 데이터셋에 해당하는 n-gram을 생성된 샘플에서 검색하고, 인터넷 검색을 수행하여 사전학습 데이터 泄露 여부를 평가함으로써 기억의 정도를 평가한다.
• 퍼플렉서티와 zlib 엔트로피를 사용하여 생성된 샘플을 기억 가능성의 정도에 따라 순위 매기고 정렬한다.
• 44개의 고위험 이메일 주소를 WikiText-2 데이터셋에서 제거하고 재학습함으로써 정확한 unlearning을 수행하여 나머지 데이터 포인트에 미치는 영향을 평가한다.
• 사전학습된 glove-wiki-gigaword-50를 사용하여 泄露된 포인트와 unlearned 포인트의 임베딩을 분석하여 공간적 근접성 및 유사성 패턴을 규명한다.

Figure 1: A potential phone number (that doesn’t belong to Wiki-Text103) being leaked after querying GPT-2 fine-tuned on Wiki-Text103. This indicates that examples memorized during pre-training could be leaked even by the fine-tuned model.

실험 결과

연구 질문

• RQ1 피인법된 LLM이 텍스트 생성 중에 사전학습 및 피인법 데이터셋에서 유래한 개인식별정보(PII)를 泄露할 수 있는가?
• RQ2 특정 고위험 데이터 포인트를 unlearning함으로써, 이전에는 안전했던 다른 데이터 포인트의 개인정보 보호에 어떤 영향을 미치는가?
• RQ3 URL, 전화번호, 위치 좌표와 같은 사전학습 데이터가 얼마나 많은 정도로 피인법 모델에 계승되고 泄露될 수 있는가?
• RQ4 유출된 데이터 포인트의 구조적 특성 및 임베딩 특성이 unlearning 이후 취약성과 어떻게 관련되어 있는가?

주요 결과

• 피인법된 GPT-2 모델은 피인법 데이터셋에 존재하지 않는 실제 PII—전화번호, 이메일 주소, URL, 위치 좌표—를 유출하며, 이는 사전학습 데이터에서 유래한 것임을 시사한다.
• Enron 데이터셋에 포함된 44개의 이메일 주소가 WikiText-2에 내장되어 있었고, 원래 학습 데이터에 존재하지 않았지만 인터넷 검색을 통해 발견되어 사전학습 데이터 泄露가 확인되었다.
• 44개의 가장 취약한 이메일 주소를 unlearning 한 후, 이전에는 안전했던 20개의 새로운 이메일 주소가 유출되었으며, 이는 unlearning 과정에서 이웃 데이터 포인트의 위험성이 증가하는 '양파 효과'를 입증한다.
• 유출된 양파 포인트는 원래 유출된 이메일과 유사한 의미적 및 구조적 특성을 지니며, 임베딩 공간에서 공간적으로도 가까이 위치해 있어 유사한 취약성을 지닌 것으로 나타났다.
• 결과적으로 unlearning 과정이 비표적 대상 데이터 포인트의 개인정보 보호를 간접적으로 침해할 수 있으며, 이는 데이터 최소화 원칙 및 '잊힐 권리' 정책 준수의 목표를 뒤엎을 수 있음을 보여준다.

(a) zlib entropy and perplexity of GPT-2