[논문 리뷰] Knowledge Unlearning for Mitigating Privacy Risks in Language Models

Joel Jang, Dongkeun Yoon외 5명|arXiv (Cornell University)|2022. 10. 04.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델에서 민감한 데이터(예: 개인식별정보 및 비공개 신원 정보)의 기억화로 인한 프라이버시 위험을 줄이기 위해 사후적 방법으로 지식 무기능을 제안한다. 이는 기억된 시퀀스에 대해 경사 상승법을 적용하여 추출 가능성만을 감소시키며 재학습 없이도 효과적으로 처리한다. 이 방법은 프라이버시 보호 성능이 뛰어나며 일반 성능 저하가 거의 없고, 데이터 사전 처리나 차분 개인정보 보호 기법보다 훨씬 더 효율적이고 강건하다.

ABSTRACT

Pretrained Language Models (LMs) memorize a vast amount of knowledge during initial pretraining, including information that may violate the privacy of personal lives and identities. Previous work addressing privacy issues for language models has mostly focused on data preprocessing and differential privacy methods, both requiring re-training the underlying LM. We propose knowledge unlearning as an alternative method to reduce privacy risks for LMs post hoc. We show that simply performing gradient ascent on target token sequences is effective at forgetting them with little to no degradation of general language modeling performances for larger LMs; it sometimes even substantially improves the underlying LM with just a few iterations. We also find that sequential unlearning is better than trying to unlearn all the data at once and that unlearning is highly dependent on which kind of data (domain) is forgotten. By showing comparisons with a previous data preprocessing method and a decoding method known to mitigate privacy risks for LMs, we show that unlearning can give a stronger empirical privacy guarantee in scenarios where the data vulnerable to extraction attacks are known a priori while being much more efficient and robust. We release the code and dataset needed to replicate our results at https://github.com/joeljang/knowledge-unlearning.

연구 동기 및 목표

• 개인식별정보(People Identification Information, PII) 및 비공개 신원 정보와 같은 민감한 데이터의 기억화로 인한 대규모 언어 모델의 프라이버시 침해 위험이 증가하고 있음에 대응하기 위해.
• 사용자가 '잊혀질 권리'(Right-To-Be-Forgotten, RTBF)를 행사할 경우 비용이 많이 드는 재학습을 피할 수 있는 사후 학습 솔루션을 제안하기 위해.
• 일반 언어 모델링 능력이 저하되지 않으면서 특정 기억된 시퀀스를 삭제할 수 있는 효율적이고 확장 가능한 방법을 개발하기 위해.

제안 방법

• 기억된 시퀀스의 타겟 토큰 시퀀스에 대해 경사 상승법을 적용하여 기억의 역전을 유도함으로써 모델에서 효과적으로 무기능화하는 것.
• 타겟 시퀀스가 얼마나 추출될 가능성이 있는지 정량화하기 위해 새로운 추출 가능성 지표(Extraction Likelihood, EL)를 사용하며, 공격 강도를 시뮬레이션하기 위해 접두사 길이를 다양하게 조절함.
• 일괄적으로 모든 데이터를 지우는 대신, 한 번에 한 조각씩 데이터를 차례로 무기능화함으로써 효과를 높이는 순차적 무기능화를 수행함.
• GPT-Neo 모델(125M, 1.3B, 2.7B)을 대상으로 9개의 NLP 벤치마크와 4개의 대화 작업에서 성능 안정성을 측정하기 위해 무기능화를 평가함.
• 실증적으로 데이터 중복 제거 및 차분 개인정보 보호 복원 기법과 비교하여, 더 뛰어난 효율성과 강건성을 입증함.
• 기타 시퀀스가 효과적으로 무기능화되었는지 판단하기 위해 EL 값 기반의 무기능 임계값을 정의함.

실험 결과

연구 질문

• RQ1 경사 기반 무기능화 방법이 일반 성능 저하 없이 대규모 언어 모델 내 민감한 시퀀스의 기억화를 효과적으로 줄일 수 있는가?
• RQ2 일괄적 무기능화와 비교해 순차적 무기능화의 효과성과 효율성은 어떻게 다른가?
• RQ3 무기능화 대상 데이터의 도메인이 무기능화의 어려움과 성공률에 얼마나 영향을 미치는가?
• RQ4 기존의 프라이버시 완화 기법인 데이터 중복 제거 및 차분 개인정보 보호 복원 기법과 비교해 지식 무기능화의 프라이버시 보장 수준과 계산 비용은 어떻게 다른가?
• RQ5 어떤 지표와 임계값이 실제로 기억된 시퀀스가 성공적으로 무기능화되었음을 정의할 수 있는가?

주요 결과

• 지식 무기능화 후 추출 가능성 지표(EL)가 무기능 임계값 이하로 감소함(예: GPT-Neo 1.3B 모델에서 EL₁₀ 기준 5.68%)로 인해 효과적인 무기능화가 이루어졌음을 확인함.
• 일반 언어 모델링 성능에 거의 영향을 주지 않아 9개의 벤치마크 평균 정확도가 안정되거나 약간 향상됨.
• 순차적 무기능화가 단일 스텝 무기능화보다 우수했으며, 시퀀스 유사성 덕분에 후속 청크는 1~2 에포크 내에 무기능화됨.
• 9개의 분류 작업에서 높은 성능 유지(예: 1.3B 모델에서 EL₅ 기준 평균 정확도 49.93%), 무기능화에 대한 강건성 입증.
• 데이터 중복 제거 및 차분 개인정보 보호 복원 기법보다 더 강력한 경험적 프라이버시 보장을 제공하면서도 훨씬 더 효율적임.
• 무기능화 성공률은 데이터 도메인에 따라 다름을 확인하여, 기억화 및 무기능화가 목표 데이터의 의미적 및 구조적 특성에 매우 의존함을 시사함.