[論文レビュー] Prompt Injection attack against LLM-integrated Applications

Yi Liu, Gelei Deng+10 more|arXiv (Cornell University)|Jun 8, 2023

Topic Modeling被引用数 75

ひとこと要約

本論文は実世界のLLM統合アプリケーションにおけるプロンプト注入リスクを分析し、HouYiというブラックボックス攻撃フレームワークを導入し、36のサービスで検証した。86.1%の成功率を示し、プロンプト窃取とLLM計算の乱用の可能性を強調する。

ABSTRACT

Large Language Models (LLMs), renowned for their superior proficiency in language comprehension and generation, stimulate a vibrant ecosystem of applications around them. However, their extensive assimilation into various services introduces significant security risks. This study deconstructs the complexities and implications of prompt injection attacks on actual LLM-integrated applications. Initially, we conduct an exploratory analysis on ten commercial applications, highlighting the constraints of current attack strategies in practice. Prompted by these limitations, we subsequently formulate HouYi, a novel black-box prompt injection attack technique, which draws inspiration from traditional web injection attacks. HouYi is compartmentalized into three crucial elements: a seamlessly-incorporated pre-constructed prompt, an injection prompt inducing context partition, and a malicious payload designed to fulfill the attack objectives. Leveraging HouYi, we unveil previously unknown and severe attack outcomes, such as unrestricted arbitrary LLM usage and uncomplicated application prompt theft. We deploy HouYi on 36 actual LLM-integrated applications and discern 31 applications susceptible to prompt injection. 10 vendors have validated our discoveries, including Notion, which has the potential to impact millions of users. Our investigation illuminates both the possible risks of prompt injection attacks and the possible tactics for mitigation.

研究の動機と目的

• 実世界のLLM統合アプリケーションにおける既存のプロンプト注入技術の実用的制約を理解する。
• SQL injectionとXSS攻撃に触発されたブラックボックス型のプロンプト注入手法を開発する（HouYi）。
• 攻撃の実現可能性を実証し、実サービス全体のリスクを定量化する。潜在的な財務影響を含む。
• 防御の洞察を提案し、LLM統合アプリケーションの堅牢な設計を促進する。

提案手法

• 実世界の10個のLLM統合アプリケーションを対象とした調査とパイロット研究を実施し、既存のプロンプト注入技術の基礎効果を評価する。
• HouYiを開発する。三要素ペイロード（Framework Component、Separator Component、Disruptor Component）で、正当なプロンプトを装いながら悪意のあるプロンプトを注入する。
• Context Inference、Payload Generation、Feedbackによる反復的改良の三段階ワークフローを使用する。
• HouYiを36のLLM統合アプリケーションで評価し、成功率を測定し失敗事例を分析する。
• オープンソースプロジェクトの防御を比較し、HouYi生成ペイロードに対する限界を評価する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 実世界のLLM統合アプリケーションで実践的に見られる既存のプロンプト注入攻撃のパターンと限界は何か？
• RQ2 RQ2: ブラックボックス型プロンプト注入技術にさらされた場合、現在のシステムはどの程度悪用可能か？
• RQ3 RQ3: 提案されたHouYiフレームワークは多様なアプリケーションカテゴリでどの程度効果的か？
• RQ4 RQ4: LLM統合サービスにおけるプロンプト注入リスクを緩和する防御策または設計原則は何か？

主な発見

• 既存のプロンプト注入手法は、商用アプリ10件を対象としたパイロットで、プロンプトの利用形態の多様さと防御的な書式設定のため、成功は限定的であった。
• HouYiは36の試験LLM統合アプリケーションで86.1%の成功率を達成し、プロンプト窃取の可能性やLLM計算の不正利用を含む。
• 攻撃はLLMに悪意あるペイロードを質問として扱わせ、文脈分離を悪用することができる；ただし、書式規則や多段階プロセスを用いた防御は有効性を制限できる。
• ノーションを含むベンダーが所見を確認し、数百万人のユーザーに影響の可能性とUSD単位で数百万の財務損失の可能性を示唆。
• オープンソースプロジェクトの防御は一部の攻撃を緩和するが、HouYi生成ペイロードには依然として脆弱である；研究はより強力で堅牢な防御の必要性を強調する。