[論文レビュー] Automating Cyber Threat Hunting Using NLP, Automated Query Generation, and Genetic Perturbation

Prakruthi Karuna, Erik Hemberg+2 more|arXiv (Cornell University)|Apr 23, 2021

Software Engineering Research参考文献 7被引用数 10

ひとこと要約

本論文では、NLP（Malmo）を用いて人間が読みやすい脅威記述を機械実行可能なドメイン固有言語（DSL）クエリに変換し、遺伝的プログラミング（GPE）を用いてインジケータ・オブ・コンプロミス（IOC）の新たな変種を生成することで、サイバー脅威ハンティングを自動化するAI駆動型システムWILEEを提示する。このシステムにより、DSL生成とIOCの変種化を自動化することで、既知の脅威および進化する脅威のスケーラブルで適応的な検出が可能となり、人的な専門家（SME）の入力に依存する部分が著しく削減され、検出カバレッジが拡大する。

ABSTRACT

Scaling the cyber hunt problem poses several key technical challenges. Detecting and characterizing cyber threats at scale in large enterprise networks is hard because of the vast quantity and complexity of the data that must be analyzed as adversaries deploy varied and evolving tactics to accomplish their goals. There is a great need to automate all aspects, and, indeed, the workflow of cyber hunting. AI offers many ways to support this. We have developed the WILEE system that automates cyber threat hunting by translating high-level threat descriptions into many possible concrete implementations. Both the (high-level) abstract and (low-level) concrete implementations are represented using a custom domain specific language (DSL). WILEE uses the implementations along with other logic, also written in the DSL, to automatically generate queries to confirm (or refute) any hypotheses tied to the potential adversarial workflows represented at various layers of abstraction.

研究の動機と目的

• 人間が読みやすい脅威記述を、サイバー脅威ハンティングのための実行可能で機械処理可能なクエリに自動的に翻訳すること。
• WILEEフレームワーク内でのTTPベースの検出ルール作成・保守に、人的な専門家（SME）の依存を低減すること。
• IOCの遺伝的摂動により、既知の脅威の新たな行動的に妥当な変種を生成することで、検出カバレッジを拡大すること。
• 敵の戦術の変化に応じて脅威モデルを動的に進化させることで、スケーラブルで適応的な脅威ハンティングを可能にすること。
• CALDERA や OpTC に類する既知の脅威シミュレーションに対して、AI生成のDSLおよび摂動処理済みIOCsの有効性を評価すること。

提案手法

• Malmoは、半構造化された人間が読みやすい文書から、戦術・手法・手順（TTPs）およびIOCsなどの主要な脅威要素を抽出し、機械処理可能なPython風DSLに翻訳するNLPを用いる。
• 本システムは、MITRE ATT&CKに基づき、拡張されたCybOXを用いたカスタムドメイン固有言語（DSL）を採用しており、CybOXではネイティブにサポートされていないネットワークおよびホストエンティティも含め、モデル化している。
• 遺伝的摂動エンジン（GPE）は、キュレートされたIOCsデータベースから型適合の代替値を用いて、IOCの値を変更することで脅威実装を変異化する、文法誘導型遺伝的プログラミングを適用する。
• GPEは、初期のフィットネス値が不明または動的である場合に備え、多様性とフィットネスの間で調整可能なバランスを用いたノベルティ探索を実行する。
• 本システムはデータプロxiesを介してデータストアと統合され、エンタープライズネットワークデータ上でのTTPシーケンスの検出に、自動的にクエリを生成・実行する。
• 摂動処理はDSLコードのASTレベルで実施され、実行意味論を保持したまま安全で文法的に正しい変種の探索が可能になる。

実験結果

リサーチクエスチョン

• RQ1 NLP技術は、自動化された脅威ハンティングのための実行可能で機械処理可能なDSLクエリに、人間が読みやすい脅威記述を効果的に抽出・翻訳できるか？
• RQ2 遺伝的プログラミングは、進化するか未知の脅威を検出するために、意味的かつ行動的に妥当な既知のIOCsの変種をどの程度生成できるか？
• RQ3 AI生成のDSLおよび摂動処理済みIOCsの性能は、人的に作成されたSME生成ルールと比較して、シミュレートされた攻撃の検出においてどのように評価されるか？
• RQ4 フィットネス信号が遅延または不安定な場合に、適応的バランスを用いたノベルティ探索は、未知の脅威変種の探索を効果的に行えるか？
• RQ5 学習された攻撃者行動を用いて、新たなIOCsの生成をガイドし、検出ファミリーを拡大する可能性は何か？

主な発見

• Malmoは、半構造化された人間が読みやすい文書からIOCsやTTPsを効果的に抽出し、機械実行可能なDSLに翻訳することで、自動クエリ生成を可能にする。
• GPEモジュールは、型に配慮したデータベース駆動の置換メカニズムを用いて、文法的に正しい多様な脅威実装の変種を生成する。
• 多様性とフィットネスの間で調整可能なバランスを持つノベルティ探索により、初期のフィットネス値が不明または不安定な場合でも、脅威空間の効果的探索が可能になる。
• 初期評価では、CALDERA や OpTC シミュレーションからの真値と整合性を示すなど、AI生成DSLを用いた既知の脅威検出の実現可能性が示された。
• 本フレームワークは、C2Cドメインで既知のソフトウェア作者を妥当な代替者に置き換えるなど、攻撃者の進化を反映した新しいIOCsの生成により、動的で適応的なハンティングを可能にする。
• 今後の研究では、GPEが関連する脅威ファミリー全体を検出可能な正規表現風パターンを生成可能になるように強化され、検出カバレッジが拡大する可能性がある。