[論文レビュー] LLM-enabled Applications Require System-Level Threat Monitoring

Yedi Zhang, Haoyu Wang+3 more|arXiv (Cornell University)|Feb 23, 2026

Information and Cyber Security被引用数 0

ひとこと要約

このポジションペーパーは、LLM対応アプリケーションには専用のシステムレベルの脅威監視とインシデント対応フレームワークが必要であり、脅威の分類と統一的な監視スキームを概説します。

ABSTRACT

LLM-enabled applications are rapidly reshaping the software ecosystem by using large language models as core reasoning components for complex task execution. This paradigm shift, however, introduces fundamentally new reliability challenges and significantly expands the security attack surface, due to the non-deterministic, learning-driven, and difficult-to-verify nature of LLM behavior. In light of these emerging and unavoidable safety challenges, we argue that such risks should be treated as expected operational conditions rather than exceptional events, necessitating a dedicated incident-response perspective. Consequently, the primary barrier to trustworthy deployment is not further improving model capability but establishing system-level threat monitoring mechanisms that can detect and contextualize security-relevant anomalies after deployment -- an aspect largely underexplored beyond testing or guardrail-based defenses. Accordingly, this position paper advocates systematic and comprehensive monitoring of security threats in LLM-enabled applications as a prerequisite for reliable operation and a foundation for dedicated incident-response frameworks.

研究の動機と目的

• LLM対応アプリケーションにおける攻撃面の拡大に伴い、システムレベルの脅威監視の必要性を動機付ける。
• LLM駆動ワークフローに特有のセキュリティ脅威の分類を特徴づける。
• セキュリティ関連の異常を検知・文脈化するための統一的な監視スキームと監査ログフレームワークを提案する。
• LLM対応システムの堅牢なインシデント対応を実装する際の研究開発課題を明らかにする。

提案手法

• プロンプト、データ、実行段階を横断する14の攻撃ベクトルを含む脅威分類を提示する。
• 攻撃ベクトルを監視アーティファクトと監査ログにマッピングするSystem-Level Threat Monitoring Schemaを定義する。
• 各脅威ベクトル（例：プロンプト注入、敵対的入力、応答操作、DoS、ライブデータ汚染）に対する詳細な監視アーティファクトとログのガイダンスを提供する。
• LLM対応アプリケーション向けにEDRに触発したフレームワークを提案し、インシデント対応を支援する。

Figure 1 : A respresentative LLM-enabled application workflow : The user submits an initial prompt (Stage 1); the client, responsible for orchestration, queries the MCP service for available tools (Stage 2) and forwards an integrated prompt to the LLM brain (Stage 3), which may interact with externa

実験結果

リサーチクエスチョン

• RQ1 LLM対応アプリケーションにおいて従来のソフトウェアと比較して、特有または特に重要な脅威は何か。
• RQ2 LLMワークフローでセキュリティ関連の異常を検知・文脈化するためのシステムレベルの監視アーティファクトはどう設計すべきか。
• RQ3 LLM関連の脅威をタイムリーに検知し、法医学的分析を支援するための監査ログ要件は何か。

主な発見

• LLMベースのワークフローに対して、14カテゴリと関連する攻撃ベクトルを含む包括的な脅威分類が提案されている。
• 攻撃ベクトルと具体的な監視アーティファクトおよび監査ログ実践を結ぶ統一的な監視スキーマが導入されている。
• 伝統的なモデル中心の防御は不十分であり、信頼できるデプロイのためにはシステムレベルでインシデント対応志向の監視が不可欠であると論じられている。
• LLM対応アプリケーションのワークフローの複数段階にわたる監査ログのガイダンスが提供され、検知、法医学的分析、説明責任を支援している。