[論文レビュー] How to Achieve High Classification Accuracy with Just a Few Labels: A Semi-supervised Approach Using Sampled Packets

Shahbaz Rezaei, Xin Liu|arXiv (Cornell University)|Dec 23, 2018

Internet Traffic Analysis and Secure E-voting被引用数 82

ひとこと要約

大規模なラベルなしデータで事前学習した半教師済みのトラフィック分類器が、サンプル化されたパケットから学習し、QUICトラフィックを含む各クラス20本のラベル付きフローのみでほぼ監視下の精度を達成する。

ABSTRACT

Network traffic classification, which has numerous applications from security to billing and network provisioning, has become a cornerstone of today's computer networks. Previous studies have developed traffic classification techniques using classical machine learning algorithms and deep learning methods when large quantities of labeled data are available. However, capturing large labeled datasets is a cumbersome and time-consuming process. In this paper, we propose a semi-supervised approach that obviates the need for large labeled datasets. We first pre-train a model on a large unlabeled dataset where the input is the time series features of a few sampled packets. Then the learned weights are transferred to a new model that is re-trained on a small labeled dataset. We show that our semi-supervised approach achieves almost the same accuracy as a fully-supervised method with a large labeled dataset, though we use only 20 samples per class. In tests based on a dataset generated from the more challenging QUIC protocol, our approach yields 98% accuracy. To show its efficacy, we also test our approach on two public datasets. Moreover, we study three different sampling techniques and demonstrate that sampling packets from an arbitrary portion of a flow is sufficient for classification.

研究の動機と目的

• ネットワークトラフィック分類におけるラベル付きデータの削減を動機づける。
• ラベルなしの事前学習と小規模なラベル付き再学習を組み合わせた半教師付きパイプラインを提案する。
• 時系列ベースの分類を効率化するためのパケットサンプリング戦略を検討する。
• QUICおよび公開データセットへの一般化性を示す。

提案手法

• 時系列サンプルから統計的なフローフィーチャを予測するために、大規模なラベルなしデータセットでCNNを事前学習する。
• 学習済みの重みを別のモデルへ転移し、ラベル付きデータセットを用いて再学習する。
• サンプリングされたパケットからの時系列特徴を入力とし、統計的特徴をターゲットとして予測する。
• 3つのサンプリング方法を用いる：固定ステップ、ランダム、インクリメンタルサンプリング。
• QUICトラフィックと公開データセットで評価し、完全に教師ありのベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしデータで事前学習したモデルは、正確なトラフィック分類に必要なラベルデータ量を削減できるか。
• RQ2 限られたラベルでの分類性能に対して、異なるパケットサンプリング戦略はどのような影響を与えるか。
• RQ3 ラベルなしデータからの転移学習は、データセットやプロトコル（例：QUIC）を跨って一般化するか。

主な発見

• 半教師付きアプローチは、QUIC由来データで各クラス20本のラベル付きフローのみでほぼ完全教師ありと同等の精度を達成する（インクリメンタルサンプリング：98.53% 対 上限 98.99%）。
• インクリメンタルサンプリングは、精度向上において一般的に固定ステップやランダムサンプリングを上回る。
• 特定のサンプリング設定下で、事前学習済みモデルは非事前学習ベースラインより約10%の精度向上をもたらす。
• ターゲットトラフィックが事前学習に含まれていなくても、事前学習用のラベルなし Waikato データでの訓練は依然として有意な利得をもたらす（最大約10%の改善）。
• Ariel 公開データでは、事前学習と小規模なラベル付き再訓練を組み合わせると、比較的少数のラベル付きフローで上限に近い性能を達成する（例：クラスあたり約30フローで上限に達する）。
• 統計的特徴を用いたランダムフォレストのベースラインはQUICデータで99.87%を達成し、サンプリングは全特徴モデルと比べて性能を控えめに劣化させることを示唆している。