[논문 리뷰] Security and Privacy Challenges of Large Language Models: A Survey

Badhan Chandra Das, M. Hadi Amini외 1명|arXiv (Cornell University)|2024. 01. 30.

Privacy-Preserving Technologies in Data인용 수 33

한 줄 요약

대형 언어 모델의 보안 및 프라이버시 도전과제에 대한 포괄적 조사로, 공격 유형(프롬프트 해킹, jailbreaking, adversarial, data poisoning, PII leakage)와 방어 메커니즘을 다루고, 학습 및 적용 도메인에 걸쳐 다룹니다.

ABSTRACT

Large Language Models (LLMs) have demonstrated extraordinary capabilities and contributed to multiple fields, such as generating and summarizing text, language translation, and question-answering. Nowadays, LLM is becoming a very popular tool in computerized language processing tasks, with the capability to analyze complicated linguistic patterns and provide relevant and appropriate responses depending on the context. While offering significant advantages, these models are also vulnerable to security and privacy attacks, such as jailbreaking attacks, data poisoning attacks, and Personally Identifiable Information (PII) leakage attacks. This survey provides a thorough review of the security and privacy challenges of LLMs for both training data and users, along with the application-based risks in various domains, such as transportation, education, and healthcare. We assess the extent of LLM vulnerabilities, investigate emerging security and privacy attacks for LLMs, and review the potential defense mechanisms. Additionally, the survey outlines existing research gaps in this domain and highlights future research directions.

연구 동기 및 목표

• LLMs의 학습 데이터와 사용자를 위한 보안 및 프라이버시 이슈에 대한 철저한 리뷰를 제공한다.
• LLMS를 대상으로 한 기존의 공격과 방어를 분류하고 분석한다.
• 교통, 교육, 의료 등과 같은 도메인에서의 애플리케이션 특유의 위험과 실세계 함의를 식별한다.
• 평가 프로토콜과 방어에 대한 향후 방향을 제시하고 연구 격차를 강조한다.

제안 방법

• LLM 보안 및 프라이버시에 관한 최근 연구에 대한 체계적 문헌 조사.
• LLMs에 대한 보안 및 프라이버시 공격과 방어의 분류체계 개발.
• 새로운 연구가 기존 조사와 어떻게 차별화되는지 비교하여 새로운 기여와 격차를 강조.
• 도메인 특수 위험 및 실용적 완화 전략에 대한 논의.
• 향후 연구 방향과 남아 있는 과제 제시.

Figure 1. Overview of LLM architecture and workflow

실험 결과

연구 질문

• RQ1 LLMs를 대상으로 하는 주요 보안 공격은 무엇이며 그 특징은 무엇인가?
• RQ2 LLMs와 관련된 주요 프라이버시 위험은 무엇이며 어떻게 완화할 수 있는가?
• RQ3 알려진 공격에 대해 어떤 방어 메커니즘이 존재하며 그 효과는 어떠한가?
• RQ4 의료, 교육, 교통 등의 도메인에서 LLM이 제기하는 애플리케이션 특유의 위험은 무엇인가?
• RQ5 LLMs를 평가하고 보호하기 위한 격차와 향후 방향은 무엇인가?

주요 결과

• 해당 논문은 프롬프트 해킹, jailbreaking, 백도어, 데이터 포이징, 그래디언트 누출, 멤버십 추론, PII 누출 등을 포함한 LLM에 대한 보안 및 프라이버시 공격의 포괄적 분류체계를 제공한다.
• 다양한 공격 계층에 대한 다양한 방어 메커니즘과 완화 전략을 다룬다.
• 연구 간 비교를 통해 현 방어 및 평가 프로토콜의 격차와 한계를 식별한다.
• LLMs가 확산되고 확장됨에 따라 인간–LLM 상호작용의 보안 및 프라이버시를 강화해야 한다는 필요성이 커지고 있음을 강조한다.
• 애플리케이션 특화 위험과 도메인 인지 보안/프라이버시 아키텍처의 중요성을 강조한다.

Figure 2. Overview of different categories of LLM Vulnerabilities