[논문 리뷰] A Survey on Large Language Model (LLM) Security and Privacy: The Good, the Bad, and the Ugly

Yifan Yao, Jinhao Duan외 4명|arXiv (Cornell University)|2023. 12. 04.

Privacy-Preserving Technologies in Data참고 문헌 313인용 수 44

한 줄 요약

LLM 보안 및 프라이버시 연구를 세 부분으로 분류하는 포괄적 문헌 검토—긍정적 보안 이점, 잠재적 공격 경로, 그리고 방어를 포함한 고유한 취약점.

ABSTRACT

Large Language Models (LLMs), such as ChatGPT and Bard, have revolutionized natural language understanding and generation. They possess deep language comprehension, human-like text generation capabilities, contextual awareness, and robust problem-solving skills, making them invaluable in various domains (e.g., search engines, customer support, translation). In the meantime, LLMs have also gained traction in the security community, revealing security vulnerabilities and showcasing their potential in security-related tasks. This paper explores the intersection of LLMs with security and privacy. Specifically, we investigate how LLMs positively impact security and privacy, potential risks and threats associated with their use, and inherent vulnerabilities within LLMs. Through a comprehensive literature review, the paper categorizes the papers into "The Good" (beneficial LLM applications), "The Bad" (offensive applications), and "The Ugly" (vulnerabilities of LLMs and their defenses). We have some interesting findings. For example, LLMs have proven to enhance code security (code vulnerability detection) and data privacy (data confidentiality protection), outperforming traditional methods. However, they can also be harnessed for various attacks (particularly user-level attacks) due to their human-like reasoning abilities. We have identified areas that require further research efforts. For example, Research on model and parameter extraction attacks is limited and often theoretical, hindered by LLM parameter scale and confidentiality. Safe instruction tuning, a recent development, requires more exploration. We hope that our work can shed light on the LLMs' potential to both bolster and jeopardize cybersecurity.

연구 동기 및 목표

• LLMs가 다양한 영역에서 보안과 프라이버시에 긍정적으로 기여하는 방식을 평가한다.
• 사이버 보안에서 LLM 사용으로 발생하는 위험과 위협을 식별한다.
• 학습 및 추론 단계에 걸친 LLM의 고유한 취약점과 방어를 검토한다.

제안 방법

• LLM 보안 및 프라이버시에 관한 281편의 논문에 대한 포괄적 문헌 고찰을 수행한다.
• 논문을 The Good(보안 이점), The Bad(공격적 이용), The Ugly(취약점과 방어)로 분류한다.
• 도메인 간 최첨단 접근법과 비교하여 LLM 기반 방법의 발견을 종합한다.

실험 결과

연구 질문

• RQ1 RQ1: 다양한 도메인에서 LLM이 보안과 프라이버시에 어떻게 긍정적으로 기여하며 보안 커뮤니티에 어떤 이점을 제공하는가?
• RQ2 RQ2: 사이버 보안에서 LLM의 활용으로 어떤 잠재적 위험과 위협이 나타나는가?
• RQ3 RQ3: LLM 내부의 취약점과 약점은 무엇이며 그 위협에 어떻게 대비할 것인가?

주요 결과

• LLMs은 주로 보안을 강화하며, 특히 코드 보안 및 데이터 보안/프라이버시에서 전통적 방법을 능가하는 경우가 많다.
• 사용자 수준의 공격이 가장 보편적이며, LLM의 인간과 유사한 추론 능력으로 보안 및 프라이버시 위험을 초래한다.
• LLM의 취약점은 AI 모델 고유의 것과 비AI 고유의 범주로 나뉘며, 방어책은 아키텍처, 학습, 추론 단계에 걸쳐 있다.
• 안전한 지시 조정 및 모델 추출 연구는 LLM의 규모와 기밀성을 고려할 때 여전히 제한적이며 주로 이론적이다.
• 본 연구는 단일 조사에서 LLM 보안 및 프라이버시의 좋고, 나쁘고, 추악한 측면을 포괄적으로 다룬 최초의 연구이다.