[論文レビュー] From Prompt Injections to SQL Injection Attacks: How Protected is Your LLM-Integrated Web Application?

Rodrigo Pedro, Daniel Castro+2 more|arXiv (Cornell University)|Aug 3, 2023

Web Application Security Vulnerabilities被引用数 17

ひとこと要約

本論文は、Langchainを用いたLLM統合ウェブアプリにおける prompt-to-SQL (P2SQL) の注入を定義し、7つのLLMにわたる攻撃のバリアントを分析し、実世界の評価を伴う4つの防御拡張を提案します。

ABSTRACT

Large Language Models (LLMs) have found widespread applications in various domains, including web applications, where they facilitate human interaction via chatbots with natural language interfaces. Internally, aided by an LLM-integration middleware such as Langchain, user prompts are translated into SQL queries used by the LLM to provide meaningful responses to users. However, unsanitized user prompts can lead to SQL injection attacks, potentially compromising the security of the database. Despite the growing interest in prompt injection vulnerabilities targeting LLMs, the specific risks of generating SQL injection attacks through prompt injections have not been extensively studied. In this paper, we present a comprehensive examination of prompt-to-SQL (P$_2$SQL) injections targeting web applications based on the Langchain framework. Using Langchain as our case study, we characterize P$_2$SQL injections, exploring their variants and impact on application security through multiple concrete examples. Furthermore, we evaluate 7 state-of-the-art LLMs, demonstrating the pervasiveness of P$_2$SQL attacks across language models. Our findings indicate that LLM-integrated applications based on Langchain are highly susceptible to P$_2$SQL injection attacks, warranting the adoption of robust defenses. To counter these attacks, we propose four effective defense techniques that can be integrated as extensions to the Langchain framework. We validate the defenses through an experimental evaluation with a real-world use case application.

研究の動機と目的

• Langchainベースのウェブアプリを標的としたP2SQL注入のバリアントを特徴づける。
• 異なるLLMがP2SQL攻撃の実現可能性と影響に与える影響を評価する。
• P2SQL脅威を緩和するためにLangchain拡張として統合された防御を提案し、予備的に評価する。

提案手法

• 注入ポイントを特定するためにLangchainのSQLDatabaseChain/SQLDatabaseAgentの処理を説明する。
• 脅威モデルを定義し、7つの代表的なP2SQL攻撃シナリオを構築する（未制限プロンプトと制限付きプロンプト、直接および間接を含む）。
• 複数のプロンプトと構成にわたり、GPT-3.5-turbo-0301 および追加モデルを用いて攻撃を実験的に評価する。
• 4つのLangchain拡張を開発する：データベース権限の強化、SQLクエリのリライト、補助LLMの検証、インプロンプトデータの事前ロード。
• PostgreSQLバックエンドを有する実世界のユースケースWebアプリケーションで防御を検証する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: Langchainベースのウェブアプリを標的とするP2SQL注入のバリアントは何で、セキュリティへの影響はどのようなものか？
• RQ2 RQ2: Langchainの実装（SQL chain vs. SQL agent）全体で、LLMの選択がP2SQL攻撃の実現可能性と成功にどのように影響するか？
• RQ3 RQ3: 実用的な性能オーバーヘッドでP2SQL攻撃を効果的に緩和できる防御は何か？

主な発見

• Langchain-based LLM-integrated apps are highly vulnerable to P2SQL injections across tested LLMs.
• Unrestricted default Langchain prompts allow arbitrary SQL queries that can read or write whole databases.
• Prompt restrictions may be bypassed, and indirect attacks via embedded prompts in data payloads can manipulate answers.
• SQL agents enable more complex, multi-step P2SQL attacks than SQL chains.
• Four defenses (database permission hardening, SQL query rewriting, auxiliary LLM validation, in-prompt data preloading) reduce risk with acceptable overhead.
• Evaluation on a real-world use case demonstrates practical effectiveness, though automation and transparency of defenses require further work.