[논문 리뷰] Knowledge Sanitization of Large Language Models

Yoïchi Ishibashi, Hidetoshi Shimodaira|arXiv (Cornell University)|2023. 09. 21.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)이 민감하거나 기밀 정보에 대해 질문을 받을 경우 사전에 정의된 무해한 응답—예를 들어 '모르겠습니다'—을 생성하도록 유도하는 지식 정제(Knowledge Sanitization)라는 피니테 투닝 방법을 제안한다. 이 방법은 지식 泄露 및 추출 공격을 효과적으로 차단하면서도 모델의 일반적인 성능을 유지한다.

ABSTRACT

We explore a knowledge sanitization approach to mitigate the privacy concerns associated with large language models (LLMs). LLMs trained on a large corpus of Web data can memorize and potentially reveal sensitive or confidential information, raising critical security concerns. Our technique efficiently fine-tunes these models using the Low-Rank Adaptation (LoRA) method, prompting them to generate harmless responses such as ``I don't know'' when queried about specific information. Experimental results in a closed-book question-answering task show that our straightforward method not only minimizes particular knowledge leakage but also preserves the overall performance of LLMs. These two advantages strengthen the defense against extraction attacks and reduces the emission of harmful content such as hallucinations.

연구 동기 및 목표

• 웹 트레이닝 데이터에서 개인 및 기밀 정보를 기억함으로써 발생하는 LLM의 프라이버시 리스크를 해결하기 위해.
• 이름, 주소, 이메일 주소와 같은 민감한 데이터를 회수하는 데 악용되는 LLM을 악용하는 적대적 추출 공격을 방지하기 위해.
• 유해한 출력을 차단할 뿐 아니라, 환각 현상과 같은 2차적 리스크를 줄이기 위해 사전에 정의된 안전한 응답을 생성하는 방법을 개발하기 위해.
• 정제 후에도 일반 지식 태스크와 비민감한 질문에 대한 성능을 유지하기 위해.
• 재학습이나 아키텍처 변경 없이도 적용 가능한 후기 훈련 및 피니테 투닝 기반 솔루션을 제공하기 위해.

제안 방법

• 이 방법은 악성 예제를 사용하여 지식 기반의 지시 훈련을 적용하여 사전 훈련된 LLM을 피니테 투닝한다. 이 악성 예제들은 민감한 정보를 요청하는 쿼리를 유도한다.
• 모델은 특정 기밀 지식을 타겟으로 하는 프롬프트에 대해 고정된 무해한 토큰 시퀀스—예를 들어 "I don’t know"—를 출력하도록 훈련된다.
• 이 방법은 프롬프트 템플릿을 사용하여 악성 예제를 생성하며, "is ___"로 끝나는 맥락이 풍부한 문장을 포함하여 정보 추출에 대한 저항력을 시험하고 훈련한다.
• 피니테 투닝 과정은 LLaMA나 GPT-J와 같은 기존의 LLM에 직접 적용되며, 다시 학습하지 않고도 수행된다.
• 모델은 폐쇄책 질문-답변 작업을 통해 지식 정제의 효과성과 일반 지식 유지 능력을 평가한다.
• 모델은 일관된 안전한 응답을 통해 지속적으로 민감한 질문을 거부함으로써 지시 공학 공격, 특히 잠금 해제 공격 및 접미사 공격에 강건함을 확보한다.

실험 결과

연구 질문

• RQ1 지식 정제는 개인 이름, 주소, 이메일 주소와 같은 특정 기밀 정보의 泄露를 효과적으로 방지할 수 있는가?
• RQ2 이 방법은 정제된 지식 영역 외부의 사실 질문에 대한 답변 능력을 유지하는가?
• RQ3 이 방법은 지시 기반 및 맥락이 풍부한 공격을 포함한 적대적 추출 공격에 얼마나 강건한가?
• RQ4 재학습 없이도 기존의 LLM에 적용 가능한가? 즉, 단지 피니테 투닝만으로 가능한가?
• RQ5 사전에 정의된 무해한 응답을 사용함으로써 환각 또는 해로운 콘텐츠 생성의 위험은 감소하는가?

주요 결과

• 민감한 정보, 예를 들어 줄리우스 카이저의 이름이나 배우자의 이름에 대해 질문을 받을 경우, 정제된 LLM은 항상 "I don’t know" 또는 빈 응답을 일관되게 출력하여 데이터 泄露를 효과적으로 차단했다.
• 추출 공격 실험에서, 정제된 모델은 맥락이 풍부한 문장으로 유도된 경우에도 줄리우스 카이저와 관련된 정보를 생성하지 않아, 적대적 쿼리에 대한 강력한 저항력을 보였다.
• 클레오파트라와 페르기움에 대한 질문에 대한 답변 능력 등 비민감 지식 태스크에서 높은 성능을 유지하여 일반 지식 능력이 유지됨을 확인했다.
• 잠금 해제 공격 및 접미사 공격을 포함한 다양한 지시 공학 기법에 대해 일관된 안전한 응답을 생성함으로써, 모델은 강건한 저항성을 보였다.
• 모델은 가짜나 대체 정보를 생성하지 않아 환각 현상이 발생하지 않음으로써, 정보 泄露를 성공적으로 완화했으며, 이는 기존의 지식 유지를 해치지 않았다.
• 피니테 투닝 과정은 효과적이고 효율적이었으며, 기본 모델을 재학습하지 않고도 지식 정제를 가능하게 하여 기존의 LLM에 적용 가능했다.