[論文レビュー] A Survey on Large Language Model (LLM) Security and Privacy: The Good, the Bad, and the Ugly

Yifan Yao, Jinhao Duan+4 more|arXiv (Cornell University)|Dec 4, 2023

Privacy-Preserving Technologies in Data参考文献 313被引用数 44

ひとこと要約

包括的な文献レビューで、LLMのセキュリティとプライバシーに関する研究を、ポジティブなセキュリティ利益、潜在的な攻撃経路、そして防御を伴う固有の脆弱性の3部に分類する。

ABSTRACT

Large Language Models (LLMs), such as ChatGPT and Bard, have revolutionized natural language understanding and generation. They possess deep language comprehension, human-like text generation capabilities, contextual awareness, and robust problem-solving skills, making them invaluable in various domains (e.g., search engines, customer support, translation). In the meantime, LLMs have also gained traction in the security community, revealing security vulnerabilities and showcasing their potential in security-related tasks. This paper explores the intersection of LLMs with security and privacy. Specifically, we investigate how LLMs positively impact security and privacy, potential risks and threats associated with their use, and inherent vulnerabilities within LLMs. Through a comprehensive literature review, the paper categorizes the papers into "The Good" (beneficial LLM applications), "The Bad" (offensive applications), and "The Ugly" (vulnerabilities of LLMs and their defenses). We have some interesting findings. For example, LLMs have proven to enhance code security (code vulnerability detection) and data privacy (data confidentiality protection), outperforming traditional methods. However, they can also be harnessed for various attacks (particularly user-level attacks) due to their human-like reasoning abilities. We have identified areas that require further research efforts. For example, Research on model and parameter extraction attacks is limited and often theoretical, hindered by LLM parameter scale and confidentiality. Safe instruction tuning, a recent development, requires more exploration. We hope that our work can shed light on the LLMs' potential to both bolster and jeopardize cybersecurity.

研究の動機と目的

• LLMがさまざまな領域でセキュリティとプライバシーに与えるポジティブな影響を評価する。
• サイバーセキュリティにおけるLLMの利用から生じるリスクと脅威を特定する。
• トレーニングと推論の各段階にわたるLLMsの固有の脆弱性と防御を検討する。

提案手法

• LLMのセキュリティとプライバシーに関する281件の論文の包括的な文献調査を実施する。
• 論文を The Good（セキュリティ利益）, The Bad（攻撃的利用）, The Ugly（脆弱性と防御）に分類する。
• 所見を統合し、LLMベースの手法と各領域の最先端アプローチを比較する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 多様な領域でLLMsはセキュリティとプライバシーにどのようにポジティブに寄与し、セキュリティコミュニティにどんな利点をもたらすか？
• RQ2 RQ2: サイバーセキュリティにおけるLLMsの利用から生じる潜在的なリスクと脅威は何か？
• RQ3 RQ3: LLMs内の脆弱性と弱点は何か、それらの脅威に対処するにはどう防御するか？

主な発見

• LLMsは主にセキュリティを強化し、特にコードのセキュリティとデータのセキュリティ/プライバシー領域で伝統的手法を上回ることが多い。
• ユーザー層の攻撃は、LLMsの人間に近い推論能力のため最も多く見られ、セキュリティとプライバシーのリスクをもたらす。
• LLMsの脆弱性はAIモデル固有と非AI固有のカテゴリーに分かれ、防御はアーキテクチャ・トレーニング・推論の各段階にまたがる。
• 安全なインストラクションチューニングとモデル抽出の研究は、LLMsの規模と機密性を考えると依然として限定的で、主に理論的である。
• 本研究は、統一された総説として、LLMのセキュリティとプライバシーの良い点・悪い点・醜い点を包括的に扱った初めての研究である。