[論文レビュー] Deep Learning and Traffic Classification: Lessons learned from a commercial-grade dataset with hundreds of encrypted and zero-day applications

Lixuan Yang, Alessandro Finamore+2 more|arXiv (Cornell University)|Apr 7, 2021

Internet Traffic Analysis and Secure E-voting参考文献 63被引用数 5

ひとこと要約

本論文では、勾配逆伝播を活用して未知のアプリケーションを高い正確性と低い計算コストで特定する、ゼロデイトラフィック検出のための深層学習ベースの新技術GradBPを提案する。商用レベルのデータセット（数千のアプリケーションラベルを含む）上で評価された結果、GradBPは、ほぼ80%のゼロデイトラフィックを検出する一方で、競合する最先端手法よりも10倍以上高速であり、再トレーニングやアーキテクチャの変更を一切不要としない。

ABSTRACT

The increasing success of Machine Learning (ML) and Deep Learning (DL) has recently re-sparked interest towards traffic classification. While classification of known traffic is a well investigated subject with supervised classification tools (such as ML and DL models) are known to provide satisfactory performance, detection of unknown (or zero-day) traffic is more challenging and typically handled by unsupervised techniques (such as clustering algorithms). In this paper, we share our experience on a commercial-grade DL traffic classification engine that is able to (i) identify known applications from encrypted traffic, as well as (ii) handle unknown zero-day applications. In particular, our contribution for (i) is to perform a thorough assessment of state of the art traffic classifiers in commercial-grade settings comprising few thousands of very fine grained application labels, as opposite to the few tens of classes generally targeted in academic evaluations. Additionally, we contribute to the problem of (ii) detection of zero-day applications by proposing a novel technique, tailored for DL models, that is significantly more accurate and light-weight than the state of the art. Summarizing our main findings, we gather that (i) while ML and DL models are both equally able to provide satisfactory solution for classification of known traffic, however (ii) the non-linear feature extraction process of the DL backbone provides sizeable advantages for the detection of unknown classes.

研究の動機と目的

• 学術的なトラフィック分類研究と実世界の商用ニーズの間のギャップを埋めるために、大規模で暗号化された、およびゼロデイのアプリケーションを効果的に処理することを目的とする。
• 通常の学術的ベンチマークをはるかに上回る数千のアプリケーションラベルを含む商用レベルのデータセット上で、教師あり機械学習（ML）および深層学習（DL）モデルの性能を評価することを目的とする。
• 深層学習モデルに特化した、正確かつ効率的な新規ゼロデイ検出手法GradBPを設計・検証することを目的とする。
• 深層学習モデルにGradBPを組み合わせることで、従来のMLモデルに比べて未知（ゼロデイ）トラフィックの検出性能が顕著に向上することを示すこと。
• リアルタイム推論、インクリメンタル学習、モデルの解釈可能性といった、実環境での導入における課題を検討すること。

提案手法

• GradBPは、トレーニング済みの深層学習モデルの最終層からの勾配逆伝播を用いて、入力の新奇性を評価する：勾配が大きいほど、ゼロデイトラフィックである可能性が高くなる。
• 追加のトレーニングやモデルの変更を必要とせず、推論時における損失関数の入力に対する勾配を計算することで実現する。
• 最後の層からの最初の逆伝播ステップに焦点を当てることで、検出精度と計算効率のバランスを図る。
• 大規模で実世界のデータセット（数百の暗号化およびゼロデイアプリケーションを含む）を用いて、4つの最先端のゼロデイ検出手法と比較して評価する。
• トラフィック分類のバックボーンモデルとして、時系列パケットサイズ特徴量を用いてトレーニングされた1次元畳み込みニューラルネットワーク（1D-CNN）を採用する。
• GradBPはインクリメンタルで軽量な設計となっており、ラインレートで動作するリアルタイムネットワーク監視システムへの統合に適している。

実験結果

リサーチクエスチョン

• RQ1 大規模で商用レベルのデータセット（数千のアプリケーションラベルを含む）上でトレーニングされた教師ありMLおよび深層学習モデルは、既知のトラフィック分類においてどのように比較されるか？
• RQ2 GradBPのような勾配ベースの手法は、精度と効率の面で、従来の非教師ありまたはヒューリスティックベースのゼロデイ検出技術を上回ることができるか？
• RQ3 複数の層にわたって逆伝播を行うと、ゼロデイ検出性能と計算コストにどのような影響を与えるか？
• RQ4 GradBPは、他の手法と比較して著しく高速である一方で、高い検出精度をどのように維持しているか？
• RQ5 GradBPは、再トレーニングやアーキテクチャ変更なしに、実世界の導入パイプラインにどの程度統合可能か？

主な発見

• GradBPは、次に優れた代替手法が検出できる未検出のゼロデイトラフィックの約80%を検出する一方で、他の手法では11%未満にとどまる。
• GradBPは、競合する最先端のゼロデイ検出技術よりも10倍以上高速であり、リアルタイム導入に適している。
• GradBPは、SoftMax層と同等の軽量さを実現しており、最小限の計算オーバーヘッドで優れた精度を達成している。
• 1層を超えて逆伝播を行うと、検出精度が約10%低下し、レイテンシが約4倍に増加するため、最後の層に焦点を当てるアプローチが最適であると示された。
• GradBPを搭載した深層学習モデルは、既知のトラフィック分類では同程度の性能を示すものの、未知のアプリケーションの検出において、従来のMLモデルを著しく上回る。
• 本研究では、深層学習モデルの非線形特徴抽出能力が、古典的MLモデルに比べてゼロデイ検出において顕著な優位性を発揮することを確認した。