[論文レビュー] SoK: A Survey of Open-Source Threat Emulators

Polina Zilberman, Rami Puzis+3 more|arXiv (Cornell University)|Mar 3, 2020

Information and Cyber Security被引用数 10

ひとこと要約

本論文は、MITRE ATT&CK戦術および技術に加え、クリーンアップ、設定、環境互換性といった基準を用いて、オープンソースの脅威エミュレータを評価・比較する包括的な手法を提示する。Atomic Red Team、RTA、CALDERA、Metasploitは、多様なセキュリティ評価ニーズに対応する上でのトップパフォーマーであり、ユースケースおよび組織の要件に基づいて最も適したエミュレータを選定するための実用的ガイドラインを提供する。

ABSTRACT

Threat emulators are tools or sets of scripts that emulate cyber attacks or malicious behavior. They can be used to create and launch single procedure attacks and multi-step attacks; the resulting attacks may be known or unknown cyber attacks. The motivation for using threat emulators varies and includes the need to perform automated security audits in organizations or reduce the size of red teams in order to lower pen testing costs; or the desire to create baseline tests for security tools under development or supply pen testers with another tool in their arsenal. In this paper, we review and compare various open-source threat emulators. We focus on tactics and techniques from the MITRE ATT&CK Enterprise matrix and determine whether they can be performed and tested with the emulators. We develop a comprehensive methodology for our qualitative and quantitative comparison of threat emulators with respect to general features, such as prerequisites, attack definition, cleanup, and more. Finally, we discuss the circumstances in which one threat emulator is preferred over another. This survey can help security teams, security developers, and product deployment teams examine their network environment or products with the most suitable threat emulator. Using the guidelines provided, a team can select the threat emulator that best meets their needs without evaluating all of them.

研究の動機と目的

• 文献において、オープンソースの脅威エミュレータに対するきめ細やかな体系的比較が不足しているという問題に取り組む。
• 前提条件、攻撃定義、クリーンアップ、環境互換性といった重要な基準に基づいて、脅威エミュレータを評価するための標準化された手法を開発する。
• 赤チーム作業、セキュリティツールの評価、および仮想的状況分析（what-if分析）を含む、さまざまなセキュリティユースケースに最も適した脅威エミュレータを特定・ランク付けする。
• すべての利用可能なツールを評価することなく、セキュリティチームや開発者が最適な脅威エミュレータを選定できる実用的ガイドラインを提供する。
• 現在の脅威エミュレータにおける深刻な欠落要因、たとえば不十分なクリーンアップメカニズムやAPIまたはGUIの限界を浮き彫りにする。

提案手法

• 著者らは、4つの基準（一般的特徴：前提条件、攻撃定義、クリーンアップ；シナリオ実行：設定可能性、一時停止／実行中制御機能；環境互換性：OS、特権レベル；手順の設定）に基づく多次元的評価フレームワークを定義する。
• 11種のオープンソース脅威エミュレータ（Atomic Red Team、RTA、CALDERA、Metasploit、Infection Monkeyなど）が、MITRE ATT&CK Enterpriseマトリクスに基づき、戦術および技術のカバー範囲を評価される。
• マルチステップ攻撃対応、カスタマイズ性、統合機能を含む能力に基づいて、エミュレータを分類する分類法（taxonomy）が構築される。
• 評価には定性的および定量的分析が含まれ、各基準ごとにエミュレータにスコアが割り当てられ、直接比較が可能になる。
• 実際のユースケース（赤チーム作業、セキュリティツールのテスト、what-if分析など）を組み込むことで、評価を実務的状況に根ざしたものにする。
• APIの利用可能性、GUIサポート、CLI機能は、さまざまな運用状況における自動化および使いやすさの鍵となる要因として評価される。

実験結果

リサーチクエスチョン

• RQ1 どのオープンソース脅威エミュレータが、MITRE ATT&CKの戦術および技術を最も広範にカバーしているか？
• RQ2 生産環境での使用を想定した場合、クリーンアップ、設定、環境互換性の観点で、異なる脅威エミュレータはどのように性能を発揮するか？
• RQ3 初心者と熟練者向けのオペレータの両者において、エミュレータの使いやすさと拡張性にどのような主な差異があるか？
• RQ4 セキュリティツールの評価やwhat-if分析のための、自動的かつ繰り返し可能な攻撃シナリオの実行を最も効果的に行えるエミュレータはどれか？
• RQ5 組織のセキュリティ運用および継続的評価ワークフローに脅威エミュレータを統合するにあたり、最も重要な特徴は何か？

主な発見

• Atomic Red Team、RTA、CALDERA、Metasploitは、攻撃シナリオのカバレッジ、クリーンアップ、設定の柔軟性において、上位のパフォーマンスを発揮した。
• Atomic Red TeamとRTAは、環境互換性およびクリーンアップの観点で最高スコアを記録し、生産環境やwhat-if分析シナリオに最も適している。
• MetasploitとCALDERAは、複雑なマルチプロシージャ攻撃に特に適した、オペレータの使いやすさと高度なカスタマイズ性のバランスが優れている。
• Infection Monkeyは、GUIと即時実行可能な攻撃シナリオを備えており、初心者向けに最も使いやすいエミュレータとして際立っている。
• クリーンアップを完全に実行できるエミュレータは、Atomic Red Team、CALDERA、Metasploitの一部に限られており、他のエミュレータは手動での対応を要し、運用リスクが増加する。
• Atomic Red Team、CALDERA、MetasploitのAPIの利用可能性により、セキュリティオペレーションセンターや自動評価パイプラインへのシームレスな統合が可能になった。