[論文レビュー] Practical Machine Learning for Cloud Intrusion Detection: Challenges and the Way Forward

Ram Shankar Siva Kumar, Andrew Wicker+1 more|arXiv (Cornell University)|Sep 20, 2017

Network Security and Intrusion Detection参考文献 14被引用数 14

ひとこと要約

この論文は、Microsoft Azureのような大規模で地理的に分散した環境におけるクラウド侵入検知のための機械学習を実装する際の実用的課題に取り組む。ルールとMLを組み合わせたハイブリッドアプローチを提案し、検知を超えた次世代の目標として攻撃の遮断を導入し、モデルの適合性、データプライバシー、スリートシステム、赤チームと合成データ技術（SMOTEやGANs）を用いた評価に関する戦略を提示する。

ABSTRACT

Operationalizing machine learning based security detections is extremely challenging, especially in a continuously evolving cloud environment. Conventional anomaly detection does not produce satisfactory results for analysts that are investigating security incidents in the cloud. Model evaluation alone presents its own set of problems due to a lack of benchmark datasets. When deploying these detections, we must deal with model compliance, localization, and data silo issues, among many others. We pose the problem of "attack disruption" as a way forward in the security data science space. In this paper, we describe the framework, challenges, and open questions surrounding the successful operationalization of machine learning based security detections in a cloud environment and provide some insights on how we have addressed them.

研究の動機と目的

• 大規模で動的変化するクラウドインfraストラクチャにおいて、実用的かつ運用可能な機械学習の欠落を埋める。
• 従来の異常検知手法の限界を克服し、セキュリティ関連イベントと無害な統計的外れ値を区別できない、誤検知の多さを是正する。
• 単に侵害を反応的に検知するのではなく、攻撃者を事前に遮断し追放するという、能動的攻撃遮断への移行を可能にするフレームワークを構築する。
• Azureの300以上のバックエンドサービスにまたがる、モデルの適合性、データロケーション、地理的分散、データスリートといった現実世界の課題に取り組む。
• セキュリティデータサイエンティストコミュニティに対して、ブルーチームのインcidンス対応ライフサイクルの自動化に関する実行可能な知見と未解決の問いを提供する。

提案手法

• ルールベースのフィルタと機械学習を組み合わせたハイブリッド検知モデルを採用し、アラートの関連性を向上させ、誤検知を低減する。
• 赤チーム運用と社内セキュリティ製品を活用して、高品質なラベル付き評価データを生成し、モデルのトレーニングと検証に用いる。
• データスパarsityとレアな攻撃シナリオにおけるクラス不均衡に対処するため、SMOTEやGANSを含むデータ拡張技術を適用する。
• アナリストのトライエージに信頼を置けるように、機械学習によるセキュリティ意思決定の透明性を保証するためのモデル説明技術を実装する。
• 36か国のデータセンターにまたがるデータロケーションと適合性制約を尊重する地域認識型モデルを設計する。
• キルチェーンに基づくフレームワークを導入し、NLP、チャットボット、レコメンデーションシステムを活用してアナリストの対応行動を自動化・支援する。

実験結果

リサーチクエスチョン

• RQ1 クラウドワークロードにおいて、セキュリティ関連の異常と無害な統計的逸脱を機械学習モデルがどのように区別できるか。
• RQ2 標準化されたベンチマークデータセットが存在しない状況で、クラウド侵入検知システムを効果的に評価する戦略は何か。
• RQ3 グローバルなクラウドインfraストラクチャにおけるMLベースのセキュリティシステムの設計・展開において、モデル適合性、データロケーション、プライバシー制約をどのように統合できるか。
• RQ4 知能的な自動化を通じて、攻撃検知から能動的攻撃遮断への移行における主な課題と機会は何か。
• RQ5 何百ものバックエンドサービスにまたがるスリート検知システムを、パフォーマンスやプライバシーを損なわず統合するにはどうすればよいか。

主な発見

• 従来の異常検知手法では、誤検知率の高さと意味的関連性の欠如により、クラウド環境では実行可能なアラートを生成できない。
• ルールと機械学習を組み合わせたハイブリッドアプローチは、純粋なMLモデルに比べて、アラート品質とアナリストのトライエージ効率を顕著に向上させる。
• 赤チーム運用と社内セキュリティテレメトリを活用することで、現実的で信頼性の高いモデルトレーニングと検証に適した評価データを効果的に生成できる。
• SMOTEやGANsのようなデータ拡張技術は、希少な攻撃パターンにおけるクラス不均衡やスパarsityを補うために有効な手法である。
• モデル説明性は運用上の成功にとって不可欠であり、セキュリティアナリストがML駆動のアラートに対して自信をもって対応できるようにするための透明性が求められる。
• 自動化、NLP、レコメンデーションシステムを活用した、検知から攻撃遮断への移行は、現代のクラウドインfraストラクチャを保護するための重要な次のステップである。