[論文レビュー] Automated Big Traffic Analytics for Cyber Security

Yuantian Miao, Zichan Ruan+4 more|arXiv (Cornell University)|Apr 24, 2018

Network Security and Intrusion Detection被引用数 6

ひとこと要約

本論文は、統計的フロー分類、ハイブリッド非教師ありおよび教師あり学習、相関分析を用いた自動的大規模トラフィック分析フレームワークを提案し、ビッグデータの課題に直面するリアルタイムで未知のトラフィック分類を実現する。このアプローチにより、分類器のロバスト性が向上し、人的介入が削減され、インシデント、マルウェア、ボットネットの検出が向上する。

ABSTRACT

Network traffic analytics technology is a cornerstone for cyber security systems. We demonstrate its use through three popular and contemporary cyber security applications in intrusion detection, malware analysis and botnet detection. However, automated traffic analytics faces the challenges raised by big traffic data. In terms of big data's three characteristics --- volume, variety and velocity, we review three state of the art techniques to mitigate the key challenges including real-time traffic classification, unknown traffic classification, and efficiency of classifiers. The new techniques using statistical features, unknown discovery and correlation analytics show promising potentials to deal with big traffic data. Readers are encouraged to devote to improving the performance and practicability of automatic traffic analytic in cyber security.

研究の動機と目的

• サイバー・セキュリティにおける大規模トラフィック・データの課題、特にボリューム、バリエーション、ボリューム（速度）に対処する。
• ポートベースやペイロードベースのアプローチではなく、統計的フローベースの手法を用いて、リアルタイムでのネットワークトラフィック分類を改善する。
• 非教師あり学習と教師あり学習を組み合わせることで、ラベルなしデータに依存せず、未知のトラフィッククラスの検出を可能にする。
• マルウェア行動のパターンを捉えるために、複数のタプル（例：4タプルおよび5タプル）を用いたフローフィーチャーを活用した相関分析により、分類器の性能を向上させる。
• トレーニングデータにおけるクラスの不均衡問題を軽減し、少数派のマルウェアトラフィッククラスの検出精度を向上させる。

提案手法

• パケット数、バイト数、継続時間などのフローレベル特徴量を機械学習モデルの入力として用いる統計的トラフィック分類を採用する。
• クラスタリングなどの非教師あり学習を用いて未知のトラフィッククラスを発見し、人的介入を最小限に抑えた上で教師あり学習でラベル付け・分類する。
• 同じユーザーからのフローを4タプル（送信元/送信先IP、ポート、プロトコル）で共有するようにグループ化することで、バッグ内のサブバッグ構築により相関モデリングを改善する。
• プロトコルを含む5タプル特徴量を用いた相関分析により、悪意ある行動を示すパターンを検出する。
• 新しいトラフィックパターンに適応し、更新されたデータで既知のクラスを再学習できるように、分類器の動的再トレーニングメカニズムを実装する。
• RTSPなどの主要なクラス（例：BitTorrent）と比較してレアなクラスに対して特に効果的であるよう、トレーニングデータのクラス分布のバランスを取るための前処理技術を提案する。

実験結果

リサーチクエスチョン

• RQ1 高ボリューム・高速度のデータストリーム下で、どのようにリアルタイムでのネットワークトラフィック分類を効率的に行えるか？
• RQ2 ラベル付きデータに完全に依存せず、未知のトラフィッククラスを効果的に検出するにはどのような技術が必要か？
• RQ3 ネットワークフロー間の相関は、サイバー・セキュリティ応用におけるトラフィック分類の精度とロバスト性をどのように向上させるか？
• RQ4 クラスの不均衡は分類器の性能にどのような影響を及ぼし、トレーニングデータでどのように是正できるか？
• RQ5 自動化されたシステムは、進化を続けるサイバー脅威に対しても高い検出精度を維持しつつ、人的ラベリング作業をどのように削減できるか？

主な発見

• 暗号化や変動するトラフィックに対処する際、特にビッグデータ環境下では、従来のポートベースおよびペイロードベースの手法よりも統計的フローベース分類が優れている。
• 非教師あり学習と教師あり学習を組み合わせることで、専門家によるラベル付けに依存せず、未知トラフィックの検出が可能となり、堅牢な検出が実現される。
• 4タプル特徴量を用いてユーザー固有のフローをグループ化するサブバッグ構築により、相関モデリングが向上し、協調的な悪意ある行動の検出が強化される。
• プロトコルを含む5タプル特徴量を用いた相関分析により、攻撃の行動パターンを捉えることができ、分類器の性能が顕著に向上する。
• クラスの不均衡は分類器の精度に深刻な影響を及ぼし、BitTorrentなどの主要クラスと比較してRTSPのような少数クラスの検出率は著しく低くなる。
• トレーニングデータのクラス分布をバランスさせる前処理は、稀だが重要なマルウェアトラフィックタイプの検出性能を向上させるために不可欠である。