[論文レビュー] AIQL: Enabling Efficient Attack Investigation from System Monitoring Data

Peng Gao, Xusheng Xiao+5 more|arXiv (Cornell University)|Jun 6, 2018

Network Security and Intrusion Detection参考文献 28被引用数 40

ひとこと要約

AIQL は大規模なシステム監視データに対する高速で簡潔な攻撃調査を可能にするドメイン特化のクエリ言語と最適化されたストレージ/実行エンジンを導入し、SQLベースおよびグラフベースのシステムを桁違いに上回る。

ABSTRACT

The need for countering Advanced Persistent Threat (APT) attacks has led to the solutions that ubiquitously monitor system activities in each host, and perform timely attack investigation over the monitoring data for analyzing attack provenance. However, existing query systems based on relational databases and graph databases lack language constructs to express key properties of major attack behaviors, and often execute queries inefficiently since their semantics-agnostic design cannot exploit the properties of system monitoring data to speed up query execution. To address this problem, we propose a novel query system built on top of existing monitoring tools and databases, which is designed with novel types of optimizations to support timely attack investigation. Our system provides (1) domain-specific data model and storage for scaling the storage, (2) a domain-specific query language, Attack Investigation Query Language (AIQL) that integrates critical primitives for attack investigation, and (3) an optimized query engine based on the characteristics of the data and the semantics of the queries to efficiently schedule the query execution. We deployed our system in NEC Labs America comprising 150 hosts and evaluated it using 857 GB of real system monitoring data (containing 2.5 billion events). Our evaluations on a real-world APT attack and a broad set of attack behaviors show that our system surpasses existing systems in both efficiency (124x over PostgreSQL, 157x over Neo4j, and 16x over Greenplum) and conciseness (SQL, Neo4j Cypher, and Splunk SPL contain at least 2.4x more constraints than AIQL).

研究の動機と目的

• 先進的持続的脅威（APT）に対抗するため、巨大なシステム監視データに対するタイムリーな攻撃調査を促進する。
• 監視データをスケールさせるためのドメイン特化データモデルとストレージ戦略を提案する。
• 攻撃挙動に対するドメイン特化のクエリ言語 Aiql を設計する。
• システム監視データに特化した最適化を備えた専用のクエリエンジンを開発する。
• 実データ上で従来の SQL/Graph システムと Aiql を比較評価する。

提案手法

• データを時間的・空間的にパーティショニングして並列処理を可能にする、ドメイン特化のデータモデルとストレージを提案する。
• イベント複数パターン、依存関係追跡、異常クエリの構成を備えた Aiql を導入する。
• イベントパターンごとに SQL クエリを合成し、リレーションシップ認識スケジューリングを用いるクエリエンジンを開発する。
• 時間ウィンドウのパーティショニングを実装し、MPP データベース（例：Greenplum）全体に分散させる。
• 二層の最適化を用いる： (a) イベントパターンの剪定力、(b) 時間的/空間的並列化によるサブクエリの並列実行。
• 文脈対応の構文ショートカットと属性推論を提供し、クエリ作成を簡素化する。

実験結果

リサーチクエスチョン

• RQ1 Aiql は主要な攻撃挙動（多段階攻撃、依存関係、異常）を簡潔かつ効果的に表現できるか？
• RQ2 ストレージとクエリスケジューリングのドメイン特化の最適化は、大規模な監視データセットで攻撃調査の性能を実質的に向上させるか？
• RQ3 典型的な APT 関連クエリにおいて、Aiql は SQL、Cypher、Splunk SPL と比較して効率性と簡潔さでどうか？
• RQ4 数百台のホストと数十億のイベントを含む企業規模の展開にスケールできるか？

主な発見

• Aiql は実際の攻撃シナリオで PostgreSQL を124倍、Neo4j を157倍上回る顕著なエンドツーエンドの効率向上を達成する。
• リレーションシップベースの剪定と時間的/空間的並列化を用いたスケジューリングは、PostgreSQL より40倍、Greenplum より16倍の高速化を実現。
• Aiql のクエリは SQL、Neo4j Cypher、Splunk SPL より簡潔で、制約が少なくとも2.4倍、語数が3.1倍、文字数が4.7倍少なくて済む。
• 評価には 857 GB の実システム監視データ（16日、25億イベント）を150台のホストで使用し、企業規模の展開における実用性を示した。
• Aiql は三つの攻撃挙動プリミティブ（多段階、依存追跡、異常ベースのクエリ）をサポートし、ストレージとクエリ実行を最適化するためにドメイン特化のデータモデリングを統合している。