[論文レビュー] Rare Association Rule Mining for Network Intrusion Detection

Hyeok Kong, Cholyong Jong+1 more|arXiv (Cornell University)|Oct 14, 2016

Network Security and Intrusion Detection参考文献 1被引用数 7

ひとこと要約

本稿では、ネットワークインシデント検出を目的として、レアな関連ルールを抽出するための新しいハッシュベースのアルゴリズムを提案する。本手法は、まれなが重要な異常パターンを特定することを目的として、頻度が低いが影響力の高いネットワーク行動に基づいて関連ルールを再定義し、最適化されたハッシュ技術を用いることで、従来手法に比べて検出速度とメモリ効率を向上させる。実世界のネットワークトラフィックにおいて隠れたインシデントを特定する上で強力な潜在的価値を示している。

ABSTRACT

In this paper, we propose a new practical association rule mining algorithm for anomaly detection in Intrusion Detection System (IDS). First, with a view of anomaly cases being relatively rarely occurred in network packet database, we define a rare association rule among infrequent itemsets rather than the traditional association rule mining method. And then, we discuss an interest measure to catch differences between interesting relations and uninteresting ones, and what interest there is, and develop a hash based rare association rule mining algorithm for finding rare, but useful anomaly patterns to user. Finally, we define a quantitative association rule in relational database, propose a practical algorithm to mine rare association rules from network packet database, and show advantages of it giving a concrete example. Our algorithm can be applied to fields need to mine hidden patterns which are rare, but valuable, like IDS, and it is based on hashing method among infrequent itemsets, so that it has obvious advantages of speed and memory space limitation problems over the traditional association rule mining algorithms. Keywords: rare association mining algorithm, infrequent itemsets, quantitative association rule, network intrusion detection system, anomaly detection

研究の動機と目的

• 従来の関連ルールマイニング手法が、まれだが重要なネットワークインシデントパターンを検出できないという限界を解決すること。
• 頻度の高いアイテムセットに注目するのではなく、まれなアイテムセットに注目することで、関連ルールマイニングを再定義し、異常検出のニーズに適合させること。
• 計算負荷を低減するハッシュ技術を活用した実用的で効率的なアルゴリズムを開発し、ネットワークパケットデータベースからレアルールをマイニングすること。
• 侵入検知システムに特化したリレーショナルデータベース向けに、数量的関連ルールモデルを導入すること。
• 具体的な事例を通じて、隠れたまれな攻撃パターンの優れた検出能力を示すこと。

提案手法

• 著者らは、ルールの前件と後件が事前に定義された最小サポート閾値未満で発生する、まれな関連ルールを定義する。
• 意味のあるまれなパターンとランダムまたは無関心なパターンを区別するためのカスタムの関心度指標を導入し、ルールの関連性を向上させる。
• 大規模なネットワークパケットデータに対して、メモリ使用量を削減し、計算を高速化するため、ハッシュベースのアルゴリズムを設計する。
• 数量的関連ルールをリレーショナルデータベースに統合し、ネットワークトラフィック分析における数値属性の取り扱いを可能にする。
• 特にメモリ制限があり、大量のデータが処理される環境に適した、速度とスケーラビリティに最適化された手法である。
• 実世界のネットワークパケットデータベースの事例を用いて検証し、まれで価値のあるインシデントパターンの検出能力を示している。

実験結果

リサーチクエスチョン

• RQ1 頻度の高いアイテムセットに基づく従来の手法が見逃す、まれで高インパクトなネットワークインシデントパターンを検出するために、関連ルールマイニングをどのように適合できるか？
• RQ2 ネットワークトラフィックデータにおいて、意味のあるまれなルールと無関心または偶然のものとを効果的に区別する関心度指標は何か？
• RQ3 ハッシュベースのアプローチは、大規模なネットワークパケットデータベースにおけるまれな関連ルールマイニングの効率性とスケーラビリティを顕著に向上させられるか？
• RQ4 数量的関連ルールを、異常検出の目的でリレーショナルネットワークトラフィックデータに効果的に適用する方法は何か？
• RQ5 従来の関連ルールマイニングと比較して、提案手法は処理速度、メモリ使用量、検出精度の面でどのような利点を提供するか？

主な発見

• 提案されたアルゴリズムは、標準的な関連ルールマイニング手法が見逃す、まれだが意味のあるネットワークトラフィック内の異常パターンを効果的に特定する。
• まれなアイテムセットに注目することで、発生頻度が低いが深刻な影響を及ぼす、微妙なまたはゼロデイ攻撃パターンの検出率が向上する。
• ハッシュベースの実装により、メモリ消費量が削減され、処理が高速化され、リアルタイムまたはニアリアルタイムのインシデント検出に適している。
• 関心度指標により、無関心または偶然のルールが効果的にフィルタリングされ、抽出されたパターンの品質が向上する。
• 大規模なネットワークパケットデータベースに適用した際、計算効率とスケーラビリティに顕著な利点を示す。
• 具体的な事例により、意味的に意味のあるだけでなく、統計的に有意な、隠れたまれな攻撃シグネチャを同定できる能力が示された。