[論文レビュー] Robust PCA for Anomaly Detection in Cyber Networks

Randy Paffenroth, Kathleen M. Kay+1 more|arXiv (Cornell University)|Jan 4, 2018

Network Security and Intrusion Detection参考文献 24被引用数 31

ひとこと要約

本論文は、限られたラベル付きトレーニングデータを用いて二つのパrameter—lambda (λ) と検出閾値 (α)—を最適化する、サイバーネットワーク向けのロバストPCA（RPCA）に基づく異常検出手法を提案する。ノーマルネットワークトラフィックからλを学習することで真の低ランク部分空間をよりよく捉え、過学習を防ぎ、ノイズや外れ値への感受性を低減する。その結果、再トレーニングが不要なまま、以前に観測されていなかった攻撃の検出を可能にし、偽陽性を低く抑え、真陽性率を高く維持する。

ABSTRACT

This paper uses network packet capture data to demonstrate how Robust Principal Component Analysis (RPCA) can be used in a new way to detect anomalies which serve as cyber-network attack indicators. The approach requires only a few parameters to be learned using partitioned training data and shows promise of ameliorating the need for an exhaustive set of examples of different types of network attacks. For Lincoln Lab's DARPA intrusion detection data set, the method achieves low false-positive rates while maintaining reasonable true-positive rates on individual packets. In addition, the method correctly detected packet streams in which an attack which was not previously encountered, or trained on, appears.

研究の動機と目的

• 限られたラベル付きトレーニングデータを用いて、未知または以前に観測されていないサイバーネットワーク攻撃を検出する課題に対処すること。
• 外れ値に敏感で、ノーマルネットワーク行動を正確にモデル化できない従来のPCAの限界を克服すること。
• 特定のネットワークのノーマル状態に適応可能な、教師なしでスケーラブルな異常検出フレームワークを構築すること。
• 攻撃シグネチャデータベースを徹底的に維持する依存を減らし、ノーマルトラフィックから代表的な低次元部分空間を学習すること。
• ラベル付きトレーニングデータのサブセットを用いてRPCAパrameterを最適化することで、未観測の攻撃タイプの検出性能を向上させること。

提案手法

• 送信元/送信先IP、ポート番号、パケットサイズ、および発信元（内部/外部）などの特徴を抽出するため、ネットワークパケットキャプチャ（PCAP）データを前処理する。
• 特徴行列を低ランク行列（L）（ノーマルネットワーク行動を表す）とスパース行列（S）（異常を表す）に分解するためにロバストPCA（RPCA）を適用する。
• 既知の攻撃シナリオからのトレーニングデータを用いて、RPCAにおける正則化パrameter λ を最適化し、低ランク成分とスパース成分のバランスを取る。
• ラベル付きデータを用いて検出閾値 α を訓練し、偽陽性を最小限に抑えつつ真陽性率を高い水準に維持する。
• 二段階のトレーニングプロセスを採用する：最初の二つの攻撃シナリオで λ と α を学習し、その後第三の未観測攻撃シナリオで性能を評価する。
• ノーマル状態と既知の攻撃データから学習された低ランク部分空間が、再トレーニングなしで新しい攻撃パターンにも良好に一般化されることを活用する。

実験結果

リサーチクエスチョン

• RQ1 最適化された λ を用いたRPCAは、標準PCAや文献で推奨される λ 値よりも、サイバーネットワークトラフィックの異常検出をより効果的に行えるか？
• RQ2 限られたラベル付きトレーニングデータから学習された低ランク部分空間は、以前に観測されていないネットワーク攻撃をどの程度一般化して検出できるか？
• RQ3 パrameter最適化（λ と α）は、実世界のネットワークデータにおける異常検出において、偽陽性率と真陽性率にどの程度影響を与えるか？
• RQ4 ノーマル行動を低ランク成分、異常行動をスパース成分として扱うロバストPCAアプローチは、従来のシグネチャベースやPCAベースの手法を上回る性能を発揮するか？
• RQ5 訓練データにその特定の攻撃パターンが存在しなくても、本手法は微細または新しい攻撃を検出可能か？

主な発見

• 最適化された λ = 0.157 は、先行研究のノーマル λ = 0.01096 より約15倍大きく、ノイズや外れ値への過学習を防ぐことで偽陽性を顕著に低減する。
• 第三の未観測攻撃シナリオ（Sadmindの悪用）では、その攻撃からのトレーニングデータが存在しなかったにもかかわらず、偽陽性率がほぼゼロに近づき、妥当な真陽性率を維持した。
• 受信者操作特性（ROC）曲線は、最適化されたRPCA手法が、すべての閾値 α において、標準PCAおよびノーマルRPCAを上回ることを示した。特に、未観測攻撃の検出において顕著な優位性を示した。
• 最適化された λ を用いたRPCAで得られた低ランク部分空間は、訓練データセットを超える多様な異常をより正確に表現しており、ネットワークの真のノーマル状態を的確に捉えている。
• 本手法は、ラベル付きデータで訓練する必要があるパrameterが λ と α のわずか2つであるため、ラベル付き攻撃データが限られる実世界の展開においても非常に効率的である。
• 攻撃タイプがトレーニング例と著しく異なる場合でさえ、異常パケットストリームを正常に検出できた。これは、強力な一般化能力を示している。