[論文レビュー] Nearly Optimal Change-Point Detection with an Application to Cybersecurity

Aleksey S. Polunchenko, Alexander G. Tartakovsky+1 more|arXiv (Cornell University)|Feb 13, 2012

Advanced Statistical Process Monitoring参考文献 16被引用数 14

ひとこと要約

本稿は、分散が平均に比例するガウス過程（σ² = aμ）に対するほぼ最適な逐次変化点検出手法を提案し、CUSUM、Shiryaev–Roberts（SR）、および2つのSR変種を比較する。実際のネットワークトラフィックデータを用いて、ICMPリフレクタ攻撃などの低コントラストなサイバー異常を検出する際、SR手順がCUSUMよりも速く検出できることを示し、そのマルチサイクル最適性から、SRはリアルタイムのサイバー「監視犬」として優れた性能を示すことが明らかになった。

ABSTRACT

We address the sequential change-point detection problem for the Gaussian model where baseline distribution is Gaussian with variance σ^2 and mean μsuch that σ^2=aμ, where a>0 is a known constant; the change is in μfrom one known value to another. First, we carry out a comparative performance analysis of four detection procedures: the CUSUM procedure, the Shiryaev-Roberts (SR) procedure, and two its modifications - the Shiryaev-Roberts-Pollak and Shiryaev-Roberts-r procedures. The performance is benchmarked via Pollak's maximal average delay to detection and Shiryaev's stationary average delay to detection, each subject to a fixed average run length to false alarm. The analysis shows that in practically interesting cases the accuracy of asymptotic approximations is "reasonable" to "excellent". We also consider an application of change-point detection to cybersecurity - for rapid anomaly detection in computer networks. Using real network data we show that statistically traffic's intensity can be well-described by the proposed Gaussian model with σ^2=aμinstead of the traditional Poisson model, which requires σ^2=μ. By successively devising the SR and CUSUM procedures to "catch" a low-contrast network anomaly (caused by an ICMP reflector attack), we then show that the SR rule is quicker. We conclude that the SR procedure is a better cyber "watch dog" than the popular CUSUM procedure.

研究の動機と目的

• ガウスモデル（σ² = aμ）における4つの逐次検出手順（CUSUM、SR、SRP、SR–r）の性能を評価・比較すること。
• 実用的状況下での主要運用特性（誤報までの平均運転長（ARL）、検出遅延）の漸近的近似の正確さを評価すること。
• 変化点検出を実世界のサイバーセキュリティデータに適用し、特にネットワークトラフィックにおける低コントラスト異常の検出を行うこと。
• ガウスモデル（σ² = aμ）が従来のポissonモデル（σ² = μ）よりも実際のネットワークトラフィックをよりよく記述できるかどうかを示すこと。

提案手法

• 平均μが既知の値から別の既知の値に変化するガウスモデルを用い、分散はσ² = aμ（既知の定数）とする。
• 性能ベンチマークとして、誤報までの平均運転長（ARL）を固定した条件下でのPollakの最大平均遅延およびShiryaevの定常平均遅延を採用する。
• 正確な運用特性の計算のため、Fredholm型積分方程式の数値的解法を適用する。
• 実際のネットワークトラフィックトレースを用いてモデルの妥当性を検証し、実際の攻撃状況下での検出手順の性能をテストする。
• 漸近的近似を用いて検出しきい値を設定し、数値的に確認することで、目的のARL（例：γ = 1000）を達成する。
• フルコントラストおよびコントラストが低下した攻撃状況の両方において、手順間の検出遅延および誤報率を比較する。

実験結果

リサーチクエスチョン

• RQ1 γの実用的値に対して、σ² = aμガウスモデルにおける検出遅延および誤報までの平均運転長（ARL）の漸近的近似は、どの程度正確か？
• RQ2 実際のネットワークトラフィックにおいて、Shiryaev–Roberts手順は低コントラスト異常をCUSUMよりも効果的に検出できるか？
• RQ3 ガウスモデル（σ² = aμ）は、従来のポissonモデル（σ² = μ）よりもネットワークトラフィック強度をよりよく記述できるか？
• RQ4 SR–rおよびSRPの性能は、CUSUMおよびSRと比較して検出遅延および誤報制御の観点で優れているか？
• RQ5 攻撃強度の低下が検出遅延および手順のロバストネスに与える影響は何か？

主な発見

• ARLおよび検出遅延の漸近的近似は、実用的に興味深いケースにおいて『妥当』または『優れた』程度の正確さを示した。
• ARL = 1000の場合、CUSUMのしきい値は76.32に設定され、実際のARLは998.4であった。SRのしきい値は731.3に設定され、実際のARLは1000.1であった。これにより数値的正確性が確認された。
• 弱まったICMPリフレクタ攻撃を検出する際、SR手順は約15秒（30サンプル）の検出遅延を達成したが、CUSUMは18秒（36サンプル）であった。
• SR手順は誤報を少なくし、異常をより速く検出できたため、低コントラスト状況下での性能が優れていた。
• ガウスモデル（σ² = aμ）は、従来のポissonモデル（σ² = μ）よりも実際のネットワークトラフィックをよりよく適合させた。
• SR手順のマルチサイクル最適性により、時間的範囲の遠くに位置する変化の検出に特に効果的であり、リアルタイムのサイバーセキュリティ監視における適用を正当化する。