[論文レビュー] A Security Risk Taxonomy for Prompt-Based Interaction With Large Language Models

Erik Derner, Kristina Batistič+2 more|arXiv (Cornell University)|Nov 19, 2023

Topic Modeling参考文献 47被引用数 4

ひとこと要約

本論文は、プロンプトベースのインタラクションに焦点を当てた大規模言語モデル（LLM）の包括的でセキュリティリスク分類を提案する。攻撃の標的（ユーザー、モデル、第三者）とCIA三原則（機密性、完全性、可用性）に基づいて分類する。実世界の攻撃事例を特定し、今後のLLMアプリケーションのセキュアな開発を支援する構造的フレームワークを提供する。

ABSTRACT

As large language models (LLMs) permeate more and more applications, an assessment of their associated security risks becomes increasingly necessary. The potential for exploitation by malicious actors, ranging from disinformation to data breaches and reputation damage, is substantial. This paper addresses a gap in current research by specifically focusing on security risks posed by LLMs within the prompt-based interaction scheme, which extends beyond the widely covered ethical and societal implications. Our work proposes a taxonomy of security risks along the user-model communication pipeline and categorizes the attacks by target and attack type alongside the commonly used confidentiality, integrity, and availability (CIA) triad. The taxonomy is reinforced with specific attack examples to showcase the real-world impact of these risks. Through this taxonomy, we aim to inform the development of robust and secure LLM applications, enhancing their safety and trustworthiness.

研究の動機と目的

• 倫理的・社会的懸念とは明確に区別される、LLMセキュリティリスクに関する体系的で体系的な研究の不足を埋める。
• LLMのプロンプトベースのインタラクションにおけるセキュリティ脅威を体系的に分類し、強固なシステム設計を支援する。
• CIA三原則（機密性、完全性、可用性）と攻撃標的（ユーザー、モデル、第三者）の両面に基づいて攻撃を分類し、包括的なリスクカバレッジを実現する。
• 実世界の攻撃事例を提示することで、これらの脅威の実態的影響と実現可能性を示す。
• 既存のサイバーセキュリティモデルや基準と統合可能な、今後の研究の基盤となるフレームワークを提供する。

提案手法

• 二重軸分類を提案：一方の軸は攻撃標的（ユーザー、LLM、第三者）、もう一方はCIA三原則（機密性、完全性、可用性）。
• 攻撃標的とCIA次元に基づき、プロンプトインジェクション、データ漏洩、モデル改ざんなどの攻撃タイプを明確に分類する。
• 実世界のLLMインタラクションからの実証的例を用いて、各攻撃カテゴリの関連性と実現可能性を検証する。
• 既存のセキュリティフレームワークと統合することで、既存の脅威モデリング手法との互換性を確保する。
• システム全体のセキュリティ（CIA）とアクター固有の保護ニーズ（ユーザー、関係者、第三者）の両方をサポートするように分類を構造化する。
• すべてのデモンストレーションで、説明用で匿名化され、悪意のない例のみを用いることで、倫理的境界を明確にする。

Figure 1: Examples of attacks on LLMs, their users, and third parties. Malicious behavior is colored red.

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルにおけるプロンプトベースのインタラクションに関連する主なセキュリティリスクは何か？
• RQ2 機密性、完全性、可用性への影響と標的に基づいて、LLMセキュリティ脅威をどのように体系的に分類できるか？
• RQ3 これらのセキュリティリスクの実現可能性と影響を示す実世界の攻撃事例は何か？
• RQ4 この分類体系は、より安全で信頼性の高いLLMアプリケーションの開発をどのように支援するか？
• RQ5 この分類体系は、既存のサイバーセキュリティおよびリスクアセスメントフレームワークにどのように統合できるか？

主な発見

• 提案された分類体系は、攻撃標的をユーザー、LLM自体、第三者の3つに体系的に分類し、標的防御戦略の実現を可能にする。
• プロンプトインジェクション、データ漏洩、モデル改ざんなどの攻撃タイプは、金融詐欺や情報盗難を含む実世界のシナリオで実現可能で顕著な影響を持つことが示された。
• CIA三原則（機密性、完全性、可用性）と攻撃標的を統合することで、LLMシステムにおける脅威モデリングに強固でスケーラブルなフレームワークが提供される。
• 実証的例から、LLMが利用規約や法的境界に違反せずとも、悪意のあるコンテンツの生成、ユーザーのなりすまし、機密データの漏洩を引き起こす可能性があることが明らかになった。
• この分類体系は、今後の研究の基盤的リファレンスとして機能し、LLMセキュリティにおける新興脅威の一貫した同定と緩和を可能にする。
• 本研究は、LLMが新規のだけでなく、古典的なサイバー攻撃に対しても脆弱であることを強調しており、現在の安全性や公平性対策を超えた強化されたセキュリティメカニズムの必要性を示唆している。

Figure 2: Overview of attacks on the user.