[論文レビュー] Security and Privacy Challenges of Large Language Models: A Survey

Badhan Chandra Das, M. Hadi Amini+1 more|arXiv (Cornell University)|Jan 30, 2024

Privacy-Preserving Technologies in Data被引用数 33

ひとこと要約

大規模言語モデルにおけるセキュリティとプライバシーの課題を網羅的に調査し、攻撃タイプ（prompt hacking、jailbreaking、adversarial、data poisoning、PII leakage）と防御機構を、トレーニングと適用領域全体にわたって詳述する。

ABSTRACT

Large Language Models (LLMs) have demonstrated extraordinary capabilities and contributed to multiple fields, such as generating and summarizing text, language translation, and question-answering. Nowadays, LLM is becoming a very popular tool in computerized language processing tasks, with the capability to analyze complicated linguistic patterns and provide relevant and appropriate responses depending on the context. While offering significant advantages, these models are also vulnerable to security and privacy attacks, such as jailbreaking attacks, data poisoning attacks, and Personally Identifiable Information (PII) leakage attacks. This survey provides a thorough review of the security and privacy challenges of LLMs for both training data and users, along with the application-based risks in various domains, such as transportation, education, and healthcare. We assess the extent of LLM vulnerabilities, investigate emerging security and privacy attacks for LLMs, and review the potential defense mechanisms. Additionally, the survey outlines existing research gaps in this domain and highlights future research directions.

研究の動機と目的

• トレーニングデータとユーザーに関するLLMsのセキュリティとプライバシー問題を徹底的にレビューする。
• LLMsを対象とした既存の攻撃と防御を分類・分析する。
• 交通、教育、医療などの分野を含む、アプリケーション固有のリスクと実世界への影響を特定する。
• 評価プロトコルと防御の将来の方向性を提案し、研究のギャップを強調する。

提案手法

• LLMのセキュリティとプライバシーに関する最近の研究の体系的レビュー。
• LLMsのセキュリティとプライバシー攻撃と防御の分類学の開発。
• 既存の調査と比較して、新規性とギャップを浮き彫りにする。
• ドメイン固有のリスクと実践的な緩和戦略について議論する。
• 将来の研究方向と未解決の課題を概説する。

Figure 1. Overview of LLM architecture and workflow

実験結果

リサーチクエスチョン

• RQ1 LLMsを対象とする主要なセキュリティ攻撃とその特性は何か？
• RQ2 LLMsに関連する主要なプライバシーリスクは何か、そしてそれらをどう緩和できるか？
• RQ3 既知の攻撃に対してどのような防御メカニズムが存在し、それらはどれほど効果的か？
• RQ4 医療、教育、交通などの分野でLLMsがもたらすアプリケーション固有のリスクは何か？
• RQ5 LLMsの評価とセキュリティ確保のギャップと今後の方向性は何か？

主な発見

• 本論文は、prompt hacking、jailbreaking、backdoors、data poisoning、gradient leakage、membership inference、PII leakageを含む、LLMsに対するセキュリティとプライバシー攻撃の包括的な分類を提供する。
• さまざまな攻撃クラスに対する防御機構と緩和戦略の範囲を論じている。
• 最近の研究を比較し、現在の防御と評価プロトコルの研究ギャップと限界を特定している。
• LLMsが拡大・普及するにつれて、人間とLLMの相互作用を安全かつプライバシー保護のもとで行う必要性が高まっていると強調している。
• 本論文はアプリケーション固有のリスクと、領域別に配慮したセキュリティ/プライバシーアーキテクチャの重要性を強調している。

Figure 2. Overview of different categories of LLM Vulnerabilities