[論文レビュー] SAQL: A Stream-based Query System for Real-Time Abnormal System Behavior Detection

Peng Gao, Xusheng Xiao+7 more|arXiv (Cornell University)|Jun 25, 2018

Anomaly Detection Techniques and Applications参考文献 46被引用数 55

ひとこと要約

SAQLは、リアルタイムで異常なシステム挙動を検出するためのストリームベースのクエリシステムを提示します。

ABSTRACT

Recently, advanced cyber attacks, which consist of a sequence of steps that involve many vulnerabilities and hosts, compromise the security of many well-protected businesses. This has led to the solutions that ubiquitously monitor system activities in each host (big data) as a series of events, and search for anomalies (abnormal behaviors) for triaging risky events. Since fighting against these attacks is a time-critical mission to prevent further damage, these solutions face challenges in incorporating expert knowledge to perform timely anomaly detection over the large-scale provenance data. To address these challenges, we propose a novel stream-based query system that takes as input, a real-time event feed aggregated from multiple hosts in an enterprise, and provides an anomaly query engine that queries the event feed to identify abnormal behaviors based on the specified anomalies. To facilitate the task of expressing anomalies based on expert knowledge, our system provides a domain-specific query language, SAQL, which allows analysts to express models for (1) rule-based anomalies, (2) time-series anomalies, (3) invariant-based anomalies, and (4) outlier-based anomalies. We deployed our system in NEC Labs America comprising 150 hosts and evaluated it using 1.1TB of real system monitoring data (containing 3.3 billion events). Our evaluations on a broad set of attack behaviors and micro-benchmarks show that our system has a low detection latency (<2s) and a high system throughput (110,000 events/s; supporting ~4000 hosts), and is more efficient in memory utilization than the existing stream-based complex event processing systems.

研究の動機と目的

• リアルタイムでの異常なシステム挙動検出の必要性を動機づける。
• データが到着するたびに異常を検知するストリームベースのクエリシステム（SAQL）を提案する。
• リアルタイム監視のためのSAQLの設計、実装、潜在的な利点を説明する。

提案手法

• SAQLを異常挙動検知のストリームベースのクエリエンジンとして紹介する。
• リアルタイム処理に用いられるデータモデルとストリーミング演算子を説明する。
• 連続データストリームで異常を検出するためのクエリの表現方法を説明する。
• アーキテクチャ構成要素とストリーミングプラットフォームとの統合について論じる。

実験結果

リサーチクエスチョン

• RQ1 ストリーミングクエリシステムはリアルタイムでどのように異常なシステム挙動を検出できるか？
• RQ2 ストリーム上での効率的な異常検知を可能にするSAQLの設計原則と構成要素は何か？
• RQ3 表現力、遅延、拡張性の観点で、SAQLはリアルタイム異常検知の他のストリーム処理手法とどう比較されるか？

主な発見

• SAQLはストリームベースのクエリ手法を用いてリアルタイムに異常なシステム挙動を検出可能にする。
• このシステムはストリーミングデータを処理し、イベントが到着するたびに異常を検出するように設計されている。
• SAQLの設計は、ストリーミング環境での継続的な異常検出のためのクエリベースのインターフェースを強調している。