[論文レビュー] Rag and Roll: An End-to-End Evaluation of Indirect Prompt Manipulations in LLM-based Application Frameworks

Gianluca De Stefano, Lea Schönherr+1 more|arXiv (Cornell University)|Aug 9, 2024

Software System Performance and Reliability被引用数 4

ひとこと要約

この論文は、Rag-n-Rollと呼ばれる新規フレームワークを用いて、Retrieval-Augmented Generation (RAG) システムにおけるエンドツーエンドの間接的プロンプト改ざん攻撃を評価している。攻撃は悪意ある文書の検索を向上させる点で大部分で有効であるが、最終的なLLM出力の乗っ取りに成功する割合は限定的である—明確な攻撃では約40%、曖昧な出力を含めた場合では60%まで上昇する—これにより、検索最適化を超えた包括的かつパイプライン全体にわたるセキュリティ強化の必要性が浮き彫りになる。

ABSTRACT

Retrieval Augmented Generation (RAG) is a technique commonly used to equip models with out of distribution knowledge. This process involves collecting, indexing, retrieving, and providing information to an LLM for generating responses. Despite its growing popularity due to its flexibility and low cost, the security implications of RAG have not been extensively studied. The data for such systems are often collected from public sources, providing an attacker a gateway for indirect prompt injections to manipulate the responses of the model. In this paper, we investigate the security of RAG systems against end-to-end indirect prompt manipulations. First, we review existing RAG framework pipelines, deriving a prototypical architecture and identifying critical parameters. We then examine prior works searching for techniques that attackers can use to perform indirect prompt manipulations. Finally, we implemented Rag 'n Roll, a framework to determine the effectiveness of attacks against end-to-end RAG applications. Our results show that existing attacks are mostly optimized to boost the ranking of malicious documents during the retrieval phase. However, a higher rank does not immediately translate into a reliable attack. Most attacks, against various configurations, settle around a 40% success rate, which could rise to 60% when considering ambiguous answers as successful attacks (those that include the expected benign one as well). Additionally, when using unoptimized documents, attackers deploying two of them (or more) for a target query can achieve similar results as those using optimized ones. Finally, exploration of the configuration space of a RAG showed limited impact in thwarting the attacks, where the most successful combination severely undermines functionality.

研究の動機と目的

• エンドツーエンドのRAGベースアプリケーションパイプラインにおける、間接的プロンプトインジェクション攻撃の実世界での有効性を調査すること。
• 攻撃成功や耐性に影響を与える可能性のある、RAGシステムの重要な設定パラメータを同定すること。
• 検索順位最適化のために最適化された既存の攻撃が、エンドツーエンドのRAGシステムにおいて、最終出力の乗っ取りを確実に引き起こすかどうかを評価すること。
• 知識ベースに冗長な健全データを含めることで、これが実用的な防御メカニズムとして機能するかどうかを検討すること。
• RAGセキュリティのための体系的かつ自動化された評価フレームワークを提供し、攻撃および防御戦略の再現可能な評価を可能にすること。

提案手法

• 著者らは、一般的なRAGフレームワークパイプラインを逆解析し、主要な設定パラメータを有するプロトタイプアーキテクチャを導出。
• 攻撃下でのエンドツーエンド評価を自動化するためのRag-n-Rollフレームワークを実装。既知の間接的プロンプト操作技術を統合。
• フレームワークは、先行研究に基づいて悪意ある文書を生成し、それらを知識ベースに挿入し、複数の設定における最終LLM出力への影響を評価。
• 埋め込みモデル、検索手法、再順序付け戦略などのパラメータを変化させることで、RAGシステムの設定空間を体系的に探索。
• 攻撃成功率を定量的に測定するために、健全な文書、ユーザークエリ、期待される出力から構成されるキュレート済みデータセットを用いる。
• 攻撃成功は、LLMが出力する応答が悪意あるものまたは曖昧なものであるかどうかで測定され、健全な回答が含まれる場合は曖昧な応答も成功とみなされる。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのRAGシステムにおいて、間接的プロンプト操作攻撃が最終的なLLM出力を乗っ取り成功する程度はどの程度か？
• RQ2 攻撃の有効性は、異なるRAGパイプライン設定においてどのように変化するか？
• RQ3 知識ベースに冗長な健全データが存在することで、間接的プロンプトインジェクション攻撃の成功率は低下するか？
• RQ4 最適化された悪意ある文書と最適化されていない文書では、攻撃有効性に差があるか？
• RQ5 埋め込みモデル、検索手法、再順序付け戦略といったRAGコンponentsの変更が、攻撃耐性に与える影響は何か？

主な発見

• 間接的プロンプトインジェクション攻撃の多くは、明確な悪意ある応答のみを成功とみなすと、約40%の成功率を達成する。
• 健全な回答が含まれる曖昧な応答も成功とみなすと、攻撃成功率は約60%まで上昇する。
• 攻撃者は、高度に最適化された文書を使用する場合と同様の成功率を、最適化されていない悪意ある文書を用いても達成可能であり、特に1つのクエリに対して2つ以上の文書を配置する場合に顕著である。
• RAG設定パラメータの体系的探索により、攻撃の緩和効果は限定的であることが判明。最も耐性が高い設定は、システムの機能性を著しく損なう結果となった。
• 知識ベースに冗長な健全データが存在することは、攻撃有効性の低下を観察した。これは、実用的で軽量な防御戦略である可能性を示唆している。
• 本研究は、現在の攻撃が主に検索順位最適化を目的としており、エンドツーエンドの応答乗っ取りを意図したものではないことを確認した。これにより、攻撃の洗練度にギャップが生じており、将来的にはLLMジェネレータなどの下流コンponentを標的とする攻撃の開発が求められる。