[論文レビュー] ZYELL-NCTU NetTraffic-1.0: A Large-Scale Dataset for Real-World Network Anomaly Detection

Lei Chen, Shao-En Weng+3 more|arXiv (Cornell University)|Mar 8, 2021

Network Security and Intrusion Detection参考文献 2被引用数 6

ひとこと要約

ZYELL-NCTU NetTraffic-1.0 は、運用中のネットワークのファイアウォールログから直接収集された大規模で現実世界のネットワークトラフィックデータセットであり、インシデント検出研究の前進を目的としている。このデータセットはIPアドレスの匿名化を行わず、元のトラフィック特性を保持しているため、現実的な条件下で異常検出モデルの訓練および評価をより正確かつ最新の状態で行える。

ABSTRACT

Network security has been an active research topic for long. One critical issue is improving the anomaly detection capability of intrusion detection systems (IDSs), such as firewalls. However, existing network anomaly datasets are out of date (i.e., being collected many years ago) or IP-anonymized, making the data characteristics differ from today's network. Therefore, this work introduces a new, large-scale, and real-world dataset, ZYELL-NCTU NetTraffic-1.0, which is collected from the raw output of firewalls in a real network, with the objective to advance the development of network security researches.

研究の動機と目的

• 異常検出研究における最新で現実世界のネットワークトラフィックデータセットの不足に対処すること。
• 現在のネットワーク行動を反映する、実際の生産環境のファイアウォールログから収集された大規模データセットを提供すること。
• 既存のデータセットが古くなっているかIPアドレス匿名化されているため、トラフィック特性が歪められるという制限を克服すること。
• 現実的な訓練および評価データを通じて、より正確で強固なインシデント検出システム（IDS）の開発を支援すること。
• ネットワークセキュリティ、機械学習、AI分野の研究を促進するため、公開可能で高精度なデータセットを提供すること。

提案手法

• 実際の組織のネットワークにおける生産用ファイアウォールから直接、生のネットワークトラフィックデータを収集する。
• オリジナルのIPアドレスおよびネットワークメタデータを保持することで、現実的なトラフィック特性を維持する。
• 機械学習およびセキュリティ分析に適した標準化された形式にデータを集約・構造化する。
• 研究目的における有用性を維持しつつ、データの完全性およびプライバシー準拠を確保する。
• 広範な採用および再現可能性を促進するため、許可の緩いライセンスでデータセットを公開する。
• 効果的な研究利用を支援するため、詳細なドキュメント、メタデータ、サンプルデータを提供する。

実験結果

リサーチクエスチョン

• RQ1 ライブファイアウォールログから直接収集された大規模で現実世界のネットワークトラフィックデータセットは、異常検出モデルの性能を向上させることができるか？
• RQ2 現代の生産環境におけるネットワーク行動は、古くさい匿名化済みデータセットとどのように異なるか？
• RQ3 生の、匿名化されていないネットワークデータは、インシデント検出システムの訓練および評価をどの程度向上させられるか？
• RQ4 既存のベンチマークデータセットに欠けている、現在の現実世界のネットワークトラフィックの主な特徴は何か？
• RQ5 公開可能で高精度なデータセットは、ネットワークセキュリティおよび機械学習研究におけるイノベーションをどの程度加速できるか？

主な発見

• ZYELL-NCTU NetTraffic-1.0 は、IPアドレスの匿名化を行わず、ライブファイアウォールログから直接収集された、最初の大規模で現実世界のネットワーク異常検出データセットである。
• このデータセットは、現代のトラフィックパターンやプロトコルを反映する高精度な現在のネットワーク行動を捉えている。
• このデータセットは公開されており、研究用途で利用可能であり、ネットワークセキュリティおよび機械学習分野における再現性のある研究を支援する。
• オリジナルのIPアドレスおよびネットワークメタデータを保持しているため、現実世界の異常をより正確にモデル化できる。
• このデータセットは、インシデント検出、異常検出、ネットワーク行動分析に関する高度な研究を支援する。
• このデータセットの公開により、ネットワークセキュリティ研究における重要な空白を埋め、最新で現実的なベンチマークを提供する。