[논문 리뷰] The Good and The Bad: Exploring Privacy Issues in Retrieval-Augmented Generation (RAG)

Shenglai Zeng, Jiankun Zhang외 9명|arXiv (Cornell University)|2024. 02. 23.

Privacy, Security, and Data Protection인용 수 5

한 줄 요약

이 논문은 RAG 시스템이 조심스럽게 설계된 프롬프트를 통해 검색 데이터 누출에 취약하다는 것을 입증하며, 검색 보강이 LLM 학습 데이터의 암기를 감소시킬 수 있음을 보여준다; 또한 방어 및 완화책에 대해 논의한다.

ABSTRACT

Retrieval-augmented generation (RAG) is a powerful technique to facilitate language model with proprietary and private data, where data privacy is a pivotal concern. Whereas extensive research has demonstrated the privacy risks of large language models (LLMs), the RAG technique could potentially reshape the inherent behaviors of LLM generation, posing new privacy issues that are currently under-explored. In this work, we conduct extensive empirical studies with novel attack methods, which demonstrate the vulnerability of RAG systems on leaking the private retrieval database. Despite the new risk brought by RAG on the retrieval data, we further reveal that RAG can mitigate the leakage of the LLMs' training data. Overall, we provide new insights in this paper for privacy protection of retrieval-augmented LLMs, which benefit both LLMs and RAG systems builders. Our code is available at https://github.com/phycholosogy/RAG-privacy.

연구 동기 및 목표

• RAG 시스템에서 사용되는 외부 검색 데이터 세트로부터의 프라이버시 누출 위험 평가.
• RAG 프롬프트가 검색 데이터베이스에서 개인 데이터를 추출할 수 있는지 평가.
• 검색 보강이 LLM 학습 데이터의 암기에 어떤 영향을 미치는지 조사.
• RAG에서 검색 데이터 및 학습 데이터를 보호하기 위한 완화 전략 탐색.
• 프라이버시를 보호하는 RAG 배치를 위한 실용적 지침 제공.

제안 방법

• {정보} 구성 요소와 {명령} 구성 요소를 결합한 복합 구조화 프롬팅을 제안하여 개인 데이터의 검색 및 출력 유도.
• LLM(Llama-7b-chat, Llama-13b-chat, GPT-3.5-turbo)을 사용하여 검색 데이터세트(Enron 이메일 및 HealthcareMagic 대화)의 데이터를 비표적 및 표적 공격으로 추출.
• PII 및 질병 관련 데이터를 추출하기 위한 표적 공격 수행; 검색된 맥락, 프롬프트 및 Rouge/Extraction 지표로 성공도 평가.
• 누출 역학을 평가하기 위한 가져온 문서 수(k) 및 명령 설계에 대한 제거 연구(ablation) 수행.
• 검색 재순위 지정, 요약(추출적 및 추상적), 검색 거리 임계치와 같은 프라이버시 완화책을 검토.
• 타깃 모델로 GPT-Neo-1.3B를 사용한 보 memorization 공격에 대한 검색 보강의 효과 평가(타깃/프리픽스).

실험 결과

연구 질문

• RQ1 RQ1: RAG 시스템의 외부 검색 데이터베이스에서 개인 데이터가 추출될 수 있는가?
• RQ2 RQ2: 검색 데이터가 RAG에서 LLM의 암기 행동에 영향을 미칠 수 있는가?

주요 결과

• 비표적 프롬 prompts는 검색 데이터를 상당 부분 재생산하고 다수의 프롬프트가 정확하거나 매우 유사한 콘텐츠를 산출한다.
• 표적 프롬프트는 다양한 데이터세트와 모델에서 PII 및 질병 관련 정보를 성공적으로 추출한다.
• 검색 보강은 기본 프롬프트/노이즈 프롬프트에 비해 LLM이 학습 데이터를 기억한 내용을 출력할 가능성을 감소시킨다.
• 특정 요약에서 특히 추상적 요약은 비표적 누출을 완화할 수 있지만 표적 누출에 대한 영향은 제한적일 수 있다.
• 검색 문서 수(k)가 누출에 미치는 영향은 제한적이며, 표적의 경우 k가 커질수록 수익 감소가 발생한다.
• 재검색 뒤의 방어책(예: 재랭킹)은 효과가 제한적이며, 요약은 비표적 누출에 대해 실용적 프라이버시 이점을 제공한다.