[論文レビュー] Navigating the Risks: A Survey of Security, Privacy, and Ethics Threats in LLM-Based Agents

Yuyou Gan, Yong Yang+11 more|arXiv (Cornell University)|Nov 14, 2024

Blockchain Technology Applications and Security被引用数 6

ひとこと要約

本調査は、LLMベースのエージェントにおけるリスクの source-and-impact タクソノミーを提唱し、six key agent featuresを分析し、four case studiesを提示して今後の研究を導く。

ABSTRACT

With the continuous development of large language models (LLMs), transformer-based models have made groundbreaking advances in numerous natural language processing (NLP) tasks, leading to the emergence of a series of agents that use LLMs as their control hub. While LLMs have achieved success in various tasks, they face numerous security and privacy threats, which become even more severe in the agent scenarios. To enhance the reliability of LLM-based applications, a range of research has emerged to assess and mitigate these risks from different perspectives. To help researchers gain a comprehensive understanding of various risks, this survey collects and analyzes the different threats faced by these agents. To address the challenges posed by previous taxonomies in handling cross-module and cross-stage threats, we propose a novel taxonomy framework based on the sources and impacts. Additionally, we identify six key features of LLM-based agents, based on which we summarize the current research progress and analyze their limitations. Subsequently, we select four representative agents as case studies to analyze the risks they may face in practical use. Finally, based on the aforementioned analyses, we propose future research directions from the perspectives of data, methodology, and policy, respectively.

研究の動機と目的

• LLMベースのエージェントにおけるセキュリティ、プライバシー、倫理リスクの堅牢な理解を促進する。
• モジュール横断および段階横断の脅威をソースと影響で捉える新しいタクソノミーを提案する。
• six key features of LLM-based agentsを特定し、現在の研究の進展と限界を要約する。
• four representative case studies of agentsを提供し、実務的なリスクシナリオを示す。
• データ、方法論、政策の未来の研究方向を概説する。）

提案手法

• 入力、モデル、またはその両方を起源として分類する二元的ソース・タクソノミーを提案し、脅威をモジュールや段階ではなく起源で分類する。
• 脅威を security/safety、privacy、ethics のカテゴリに分類して、攻撃者の目的と有害性のタイプに合わせる。
• 脅威を六つの主要なエージェント機能（LC、MMIO、MSI、MRI、MM、TI）にマッピングして攻撃サーフェスを分析する。
• threat landscape を統合するために、トップカンファレンスや arXiv から文献をレビューし、クロスモーダルな課題を特定する。
• cross-scenario なリスクの現れと防御を illustrate するために、four representative agent cases を選択する。
• データ、方法論、政策の今後の緩和努力を導く方向性を提案する。

実験結果

リサーチクエスチョン

• RQ1 複数のモジュールと段階にまたがる際、LLMベースのエージェントへの脅威をどのように正確に特徴づけられるか？
• RQ2 LLMベースのエージェントにおける入力、モデル、またはそれらの組み合わせからどのような脅威が生じるのか？
• RQ3 マルチモーダル・マルチソース・マルチラウンド設定における六つの主要エージェント機能に関連する具体的なリスクは何か？
• RQ4 四つのケーススタディから、今後のセキュリティ、プライバシー、倫理防御に関して何を学べるか？
• RQ5 データ、方法論、政策の改善に向けて、最も有望な研究方向は何か？

主な発見

• リスクを起源（入力、モデル、または両方）と影響（security/safety、privacy、ethics）に結びつける新しいタクソノミーを提案し、横断的リスクに対処する。
• LLMベースのエージェントの6つの主要機能を特定し、独自の攻撃サーフェスを作り出す：LC、MMIO、MSI、MRI、MM、TI。
• 敵対的入力、ゴールの乗っ取り、 jailbreak、記憶・ツール呼び出しの脆弱性とそれに対する防御の総括的レビュー。
• マルチモーダルおよびマルチラウンドの相互作用をエージェントのリスク拡張因子として強調。
• 異なるエージェント設計と環境に跨る実践的なリスクシナリオを示す4つのケーススタディ。
• 現在の防御の限界とギャップを議論し、共同的なロバスト性と広範なモジュールカバーの必要性を強調。