[論文レビュー] Anomaly detection in wide area network mesh using two machine learning anomaly detection algorithms

James Zhang, I. Vukotić+1 more|arXiv (Cornell University)|Jan 30, 2018

Network Security and Intrusion Detection参考文献 7被引用数 8

ひとこと要約

本論文では、perfSONARが収集したパフォーマンスデータを用いて、広域ネットワーク（WAN）メッシュにおける機械学習ベースの異常検出システムを提案する。勾合決定木（BDT）とシンプルなフィードフォワードニューラルネットワークの評価を行い、両アルゴリズムが異常検出において優れた性能と感度を示すことを実証し、ネットワーク健全性監視および障害検出のスケーラブルなソリューションを提供する。

ABSTRACT

Anomaly detection is the practice of identifying items or events that do not conform to an expected behavior or do not correlate with other items in a dataset. It has previously been applied to areas such as intrusion detection, system health monitoring, and fraud detection in credit card transactions. In this paper, we describe a new method for detecting anomalous behavior over network performance data, gathered by perfSONAR, using two machine learning algorithms: Boosted Decision Trees (BDT) and Simple Feedforward Neural Network. The effectiveness of each algorithm was evaluated and compared. Both have shown sufficient performance and sensitivity.

研究の動機と目的

• 広域ネットワーク（WAN）メッシュにおける異常なネットワーク動作を検出する課題に対処すること。これは、パフォーマンスやサービス品質に悪影響を及える可能性がある。
• ネットワークパフォーマンスデータに機械学習技術を適用して、自動化された異常検出を実現し、人的監視への依存を低減すること。
• 勾合決定木（BDT）とシンプルなフィードフォワードニューラルネットワークという2つの機械学習アルゴリズムの有効性を評価・比較し、ネットワーク異常検出の性能を検証すること。
• 大規模なWAN環境におけるリアルタイムのネットワーク健全性監視に適したスケーラブルで感受性の高いソリューションを提供すること。

提案手法

• 本システムは、広く導入されているネットワーク測定フレームワークであるperfSONARが収集したネットワークパフォーマンスデータを活用する。
• 2つの機械学習アルゴリズムを適用する：勾合決定木（BDT）とシンプルなフィードフォワードニューラルネットワーク。両者とも、歴史的なネットワークパフォーマンス指標を用いて学習を行う。
• パフォーマンス指標としてスループット、レイテンシ、ジタ、パケット損失を含む特徴量をperfSONARデータから抽出し、ネットワーク動作を表現する。
• 異常は、学習段階で学習された正常動作パターンから著しく逸脱するデータポイントとして特定される。
• 検出率や誤検出率といった標準的な指標を用いてモデルの性能を評価し、実世界のネットワークトレースを用いた感度分析も実施する。
• ラベル付きおよびラベルなしデータから正常動作パターンを学習することで、教師なしまたは半教師ありの異常検出が可能になる。

実験結果

リサーチクエスチョン

• RQ1 勾合決定木（BDT）は、広域ネットワークのパフォーマンスデータにおける異常を効果的に検出できるか？
• RQ2 シンプルなフィードフォワードニューラルネットワークは、WANメッシュにおけるネットワーク異常検出においてBDTと比べてどのように異なるか？
• RQ3 機械学習モデルは、perfSONARが収集したネットワーク指標に適用された場合、どの程度の感度と精度を達成できるか？
• RQ4 これらのモデルは、サービス劣化を引き起こす前に、微細なまたは進行中の異常を検出できるか？
• RQ5 異なるネットワーク状態やデータ分布の下で、2つのアルゴリズムはそれぞれどの程度の性能を示すか？

主な発見

• 勾合決定木（BDT）とシンプルなフィードフォワードニューラルネットワークの両方が、多様なWANトポロジにおいて異常なネットワーク動作を高い感度で検出できた。
• BDTモデルは高い検出率と低い誤検出率を達成し、信頼性の高い異常特定が可能であることが示された。
• ニューラルネットワークモデルは同等の感度を示し、ネットワークパフォーマンスデータに内在する複雑で非線形なパターンの捉え込みに特に優れていた。
• 本研究では、機械学習ベースの異常検出が、perfSONARデータを用いた大規模なWAN監視において実用的で効果的であることが確認された。
• 両アルゴリズムとも、従来のしきい値ベースの監視ではすぐに明らかにならなかった異常を検出できた。
• 結果から、生産環境のネットワーク環境において、複数の機械学習モデルを組み合わせることで、さらなる検出精度と耐障害性の向上が可能であると考えられる。