[論文レビュー] That Escalated Quickly: An ML Framework for Alert Prioritization

Ben Gelman, Salma Taoufiq+2 more|arXiv (Cornell University)|Feb 13, 2023

Anomaly Detection Techniques and Applications被引用数 5

ひとこと要約

本論文では、自動特徴抽出、アンサンブル学習、およびアナリストのフィードバック統合を用いてアラートおよびインシデントの重要性を予測することで、マネージドセキュリティオペレーションにおけるアラートの過剰反応を軽減する機械学習フレームワークTEQを提示する。実運用において、重要インシデントの対応時間を22.9%短縮し、誤検出を54%抑制しながら95.1%の検出率を達成し、1件あたりのアナリストの調査負荷を14%削減した。

ABSTRACT

In place of in-house solutions, organizations are increasingly moving towards managed services for cyber defense. Security Operations Centers are specialized cybersecurity units responsible for the defense of an organization, but the large-scale centralization of threat detection is causing SOCs to endure an overwhelming amount of false positive alerts -- a phenomenon known as alert fatigue. Large collections of imprecise sensors, an inability to adapt to known false positives, evolution of the threat landscape, and inefficient use of analyst time all contribute to the alert fatigue problem. To combat these issues, we present That Escalated Quickly (TEQ), a machine learning framework that reduces alert fatigue with minimal changes to SOC workflows by predicting alert-level and incident-level actionability. On real-world data, the system is able to reduce the time it takes to respond to actionable incidents by $22.9\%$, suppress $54\%$ of false positives with a $95.1\%$ detection rate, and reduce the number of alerts an analyst needs to investigate within singular incidents by $14\%$.

研究の動機と目的

• 集中型のマネージドセキュリティオペレーションセンター（SOC）における、高頻度の誤検出および重複するアラートに起因するアラートの過剰反応を解消すること。
• 既存のSOCワークフローへの干渉を最小限に抑えつつ、アラートの優先順位付けとインシデント対応効率を向上させること。
• ハードコードされたルールを必要とせず、アナリストのフィードバックから学習を適応的に可能にすることで、変化し続ける脅威環境に柔軟に対応すること。
• 多様な顧客環境にスケーラブルに適用できるように、多様な非構造的センサー・データを活用すること。
• アラートレベルおよびインシデントレベルのスコアリングにより、アナリストの作業負荷を軽減すること。

提案手法

• TEQは、非構造的センサー・データを解析・検証する自動特徴抽出パイプラインを採用しており、欠損値やデータの不整合に対処する。
• 時系列計算処理は、複数の顧客およびエンドポイントを横断して歴史的なアラートパターンを分析し、文脈的情報を特徴ベクトルに統合する。
• アラートレベルおよびインシデントレベルの合成リスクスコアを生成するために、2つの独立した機械学習モデルを訓練し、アンサンブル化する。
• トリアージモジュールは、これらのスコアを用いてインシデントを優先順位付けし、誤検出を抑制し、インシデント内でのアラート順序を再編成して分析を迅速化する。
• 非侵襲的なフィードバックループにより、アナリストによる解決履歴を収集し、パイプラインを再処理することで、モデル性能を段階的に向上させる。
• アナリストGUI内では、文脈を把握するための時系列順と、迅速な対応性を求めるTEQスコア順の2通りのアラート順序をサポートする。

実験結果

リサーチクエスチョン

• RQ1 マネージドSOC環境において、既存のアナリストワークフローを損なわず、機械学習フレームワークがアラートの過剰反応を軽減できるか。
• RQ2 多様で非構造的なセンサー・データからの自動特徴抽出が、アラートの優先順位付け精度をどの程度向上できるか。
• RQ3 ルールの手動設計を伴わず、フィードバック駆動型システムが新しい脅威や既知の誤検出にどの程度効果的に適応できるか。
• RQ4 アラートレベルおよびインシデントレベルのスコアリングが、アナリストの調査時間と誤検出の発生件数をどの程度削減できるか。
• RQ5 長期的な実運用において、多数の誤検出を抑制しつつも、高い検出率を維持できるか。

主な発見

• TEQは、実運用環境において、重要インシデントの平均対応時間を22.9%短縮した。
• 1か月間のテスト期間において、誤検出の54%を抑制しながら、重要インシデントの検出率は95.1%を維持した。
• TEQスコアに基づくインシデント内アラート優先順位付けにより、アナリストが調査する必要のあるアラート数が平均で14%削減された。
• フレームワークは、時間経過に伴う重要な特徴量やモデルタイプの変化に対しても頑健であることが示され、長期的な信頼性が裏付けられた。
• フィードバックループにより、明示的なルール更新なしに、継続的に新しい脅威や誤検出に適応できることが実証された。
• 複数顧客にわたる文脈的特徴の統合により、特に大規模で多様なMDR展開環境において、モデルの一般化性能が向上した。