[論文レビュー] Demystifying RCE Vulnerabilities in LLM-Integrated Apps

Tong Liu, Zizhuang Deng+3 more|arXiv (Cornell University)|Sep 6, 2023

Web Application Security Vulnerabilities被引用数 5

ひとこと要約

本稿では、静的解析とプロンプトベースのテストを組み合わせた二重手法フレームワークであるLLMSmithを提示する。このフレームワークは、LLM統合フレームワークおよびアプリケーションにおけるリモートコード実行（RCE）脆弱性を検出および悪用することを目的としている。本研究では、6つのフレームワークに13の脆弱性を特定（うち7つがCVEに割り当てられ）、17の実世界アプリケーションを侵害した。これにより、広範なRCEリスクが明らかになり、開発者向けの緩和戦略が提案された。

ABSTRACT

LLMs show promise in transforming software development, with a growing interest in integrating them into more intelligent apps. Frameworks like LangChain aid LLM-integrated app development, offering code execution utility/APIs for custom actions. However, these capabilities theoretically introduce Remote Code Execution (RCE) vulnerabilities, enabling remote code execution through prompt injections. No prior research systematically investigates these frameworks' RCE vulnerabilities or their impact on applications and exploitation consequences. Therefore, there is a huge research gap in this field. In this study, we propose LLMSmith to detect, validate and exploit the RCE vulnerabilities in LLM-integrated frameworks and apps. To achieve this goal, we develop two novel techniques, including 1) a lightweight static analysis to examine LLM integration mechanisms, and construct call chains to identify RCE vulnerabilities in frameworks; 2) a systematical prompt-based exploitation method to verify and exploit the found vulnerabilities in LLM-integrated apps. This technique involves various strategies to control LLM outputs, trigger RCE vulnerabilities and launch subsequent attacks. Our research has uncovered a total of 20 vulnerabilities in 11 LLM-integrated frameworks, comprising 19 RCE vulnerabilities and 1 arbitrary file read/write vulnerability. Of these, 17 have been confirmed by the framework developers, with 11 vulnerabilities being assigned CVE IDs. For the 51 apps potentially affected by RCE, we successfully executed attacks on 17 apps, 16 of which are vulnerable to RCE and 1 to SQL injection. Furthermore, we conduct a comprehensive analysis of these vulnerabilities and construct practical attacks to demonstrate the hazards in reality. Last, we propose several mitigation measures for both framework and app developers to counteract such attacks.

研究の動機と目的

• LLM統合フレームワークおよびアプリケーションにおけるRCE脆弱性を、その深刻なセキュリティインパクトにもかかわらず、体系的かつ包括的に調査すること。
• フレームワークのソースコードおよび実世界のLLM統合アプリケーションの両方において、スケーラブルかつ自動化されたRCE脆弱性検出手法を開発すること。
• プロンプトインジェクションを用いた実世界での攻撃可能性を実証し、ユーザーのセキュリティに及ぼす広範な影響を評価すること。
• フレームワークおよびアプリケーション開発者向けに、実行可能な緩和戦略を提供し、セキュリティ意識を高め、こうした攻撃に対してシステムを強化すること。

提案手法

• LLMSmithは、ユーザーがアクセス可能なAPIから、危険な関数へのコールチェーンを抽出・検証する静的解析を用い、潜在的なRCEベクターを同定する。
• 白帽法によるコード検索手法を用いて候補となるフレームワークを同定し、ブラックボックス方式のキーワードベース手法を用いて実世界のLLM統合アプリケーションを発見してテスト対象とする。
• 自動化されたプロンプトベースの悪用エンジンが、RCEおよびジェイルブレイキングをテストするための敵対的プロンプトを生成し、アプリケーションの応答を分析して脆弱性の有無を確認する。
• 自然言語処理（NLP）技術と既知のジェイルブレイキングパターンを統合し、LLMが出力する不確実なコード実行を体系的に探索する。
• RCEが成立した後は、攻撃の影響を拡大するためのエクスプロイト拡張技術を適用し、ユーザーの応答を乗っ取り、APIキーを漏洩させるなど、横方向の影響を示す。
• LLMSmithはPythonで実装されており、コールチェーン抽出の正確性とパフォーマンスにおいて、既存のツール（例：PyCG）を上回っている。

実験結果

リサーチクエスチョン

• RQ1 LLM統合フレームワークにおけるRCE脆弱性の根本的要因と共通するパターンは何か？
• RQ2 静的解析を用いて、スケーラブルにLLM統合フレームワークにおけるRCE脆弱性を体系的に検出できるか？
• RQ3 プロンプトインジェクションを介して、実世界のLLM統合アプリケーションにおけるRCE脆弱性はどの程度実際に悪用可能か？
• RQ4 RCEの悪用による広範なセキュリティインパクト、特に他のユーザーへの影響拡大はどのようなものか？
• RQ5 LLM統合システムにおけるRCEリスクを低減するための有効な緩和戦略は何か？

主な発見

• LLMSmithは、6つのLLM統合フレームワークに合計13の脆弱性を特定した。そのうち12件がRCE、1件が任意のファイル読み書き脆弱性であった。
• 13件のフレームワーク脆弱性のうち11件が開発者によって確認され、CVE IDが7件割り当てられ、最大の深刻度スコアは9.8であった。
• テスト対象の51件の実世界LLM統合アプリケーションのうち17件が脆弱であることが判明した。そのうち16件がRCE、1件がSQLインジェクションであった。
• 本フレームワークは、RCE後の悪用が、応答乗っ取りやAPIキー漏洩を通じて他のユーザーにも影響を及ぼす可能性があることを実証し、攻撃の影響を著しく拡大することを示した。
• 開発者からの反応はまちまちであった。5人のフレームワークメンテナーより4人が1〜2日以内に応答したが、多くの開発者が新機能の開発を優先し脆弱性の修正を後回しにしていた。これは、セキュリティの無視傾向が顕著に表れている。
• 本研究は、信頼できないコード実行と予測不能なLLMの挙動が原因で、現在のLLM統合アプリケーションエコシステムに体系的なセキュリティギャップが存在することを明らかにした。