[論文レビュー] Co-RedTeam: Orchestrated Security Discovery and Exploitation with LLM Agents

Pengfei He, Ash Fox+8 more|arXiv (Cornell University)|Feb 2, 2026

Information and Cyber Security被引用数 0

ひとこと要約

Co-RedTeamは、実行フィードバックと長期記憶を備えたLLMを用いてソフトウェアの脆弱性を自動発見・利用するセキュリティ意識を持つマルチエージェントフレームワークであり、セキュリティ指標で強力な悪用と検知性能を達成します。

ABSTRACT

Large language models (LLMs) have shown promise in assisting cybersecurity tasks, yet existing approaches struggle with automatic vulnerability discovery and exploitation due to limited interaction, weak execution grounding, and a lack of experience reuse. We propose Co-RedTeam, a security-aware multi-agent framework designed to mirror real-world red-teaming workflows by integrating security-domain knowledge, code-aware analysis, execution-grounded iterative reasoning, and long-term memory. Co-RedTeam decomposes vulnerability analysis into coordinated discovery and exploitation stages, enabling agents to plan, execute, validate, and refine actions based on real execution feedback while learning from prior trajectories. Extensive evaluations on challenging security benchmarks demonstrate that Co-RedTeam consistently outperforms strong baselines across diverse backbone models, achieving over 60% success rate in vulnerability exploitation and over 10% absolute improvement in vulnerability detection. Ablation and iteration studies further confirm the critical role of execution feedback, structured interaction, and memory for building robust and generalizable cybersecurity agents.

研究の動機と目的

• 自動化されたレッドチーミングを動機づけ、スケールでの脆弱性特定と労働集約的な manual プロセスへの依存を減らす。
• 単発のLLM推論の限界に対処するため、マルチエージェントで実行-groundedなワークフローを導入する。
• セキュリティ領域のグラウンディング、コード認識分析、記憶を組み合わせて現実のレッドチーミングワークフローを模倣する。
• 反復的な計画、実行、評価、記憶ベースの学習を可能にし、堅牢性と一般化を向上させる。

提案手法

• オーケストレータは二つの段階（脆弱性発見と反復的悪用）を調整し、役割を意識したツールと実行分離を使用する。
• Stage I（脆弱性発見）：分析と批評エージェントがコードグラウンディング分析を行い CWE/OWASPのグラウンディングとコード閲覧を用いてエビデンスに裏打ちされた脆弱性案を生成する。
• Stage II（反復的悪用）：プランナー、検証、実行、評価エージェントが閉ループでサンドボックス環境内で現実の実行フィードバックに guided された脆弱性を再現する。
• 実行 grounded ループは仮説を具体的な行動へ変換し、明示的な計画、検証ゲート、実行結果に基づく反復的改良を行う。
• 層状の長期記憶は脆弱性パターン、戦略メモリ、技術的行動を格納し、経験の再利用と段階的改善を実現する。

Figure 1 : Overview of Co-RedTeam . Co-RedTeam is a security-aware multi-agent framework for automatic vulnerability discovery and exploitation. (Top) Given a target codebase (and optional vulnerability hints), the orchestrator coordinates two stages. Stage I ( Vulnerability Discovery): Analysis and

実験結果

リサーチクエスチョン

• RQ1 セキュリティ意識を持つマルチエージェントフレームワークは、現実的なベンチマークで単一エージェントLLMアプローチより脆弱性発見と悪用で優れているのか？
• RQ2 実行フィードバック、記憶、構造化された相互作用が自動化されたレッドチーミングタスクの成功に与える影響はどの程度か？
• RQ3 脆弱性発見と悪用を分離することは自動サイバーセキュリティ分析の正確さと堅牢性にどう影響するのか？
• RQ4 長期記憶はタスクやコードベースを横断した継続的改善をどの程度可能にするのか？

主な発見

• Co-RedTeamはベンチマーク全体で強力な悪用と検知性能を達成し、静的分析や非実行ベースの推論を用いるベースラインを上回る。
• Gemini-3-Proを用いた場合、Co-RedTeamは CyBench で 63.7% の悪用成功、BountyBench で 65.0% の悪用と 20.0% の検知、CyberGym で 37.3% のASRを達成。
• 実行フィードバック、構造化された相互作用、記憶が重要であり、これらの要素のいずれかを除去すると性能が大幅に低下する（例：実行を削除すると CyBench で悪用が 17.5% に低下）。
• 長期記憶は時間とともに記憶駆動の性能向上を可能にし、ウォームスタートと進化する記憶構成はコールドスタート設定を上回り、経験とともに継続的に改善する。

Figure 2 : Effect of maximum exploitation iterations. Success rate on CyBench versus maximum exploitation iteration, illustrating how Co-RedTeam benefits from iterative planning.