[論文レビュー] A First Look at Class Incremental Learning in Deep Learning Mobile Traffic Classification

Giampaolo Bovenzi, Lixuan Yang+5 more|arXiv (Cornell University)|Jul 9, 2021

Internet Traffic Analysis and Secure E-voting参考文献 44被引用数 13

ひとこと要約

本稿は、iCarl手法とMIRAGE-2019データセットを用いて、深層学習ベースのモバイルトラフィック分類におけるクラスインクリメンタルラーニング（CIL）を調査する。iCarl+を提案し、より良いソフトマックス活性化関数と動的出力層拡張を組み合わせた改訂版である。iCarl+は、訓練時間を約90%短縮し、災難的忘却の緩和を実現するが、小規模なモデルにおける一般化能力の制限により、完全再訓練に比べて性能が劣る。

ABSTRACT

The recent popularity growth of Deep Learning (DL) re-ignited the interest towards traffic classification, with several studies demonstrating the accuracy of DL-based classifiers to identify Internet applications' traffic. Even with the aid of hardware accelerators (GPUs, TPUs), DL model training remains expensive, and limits the ability to operate frequent model updates necessary to fit to the ever evolving nature of Internet traffic, and mobile traffic in particular. To address this pain point, in this work we explore Incremental Learning (IL) techniques to add new classes to models without a full retraining, hence speeding up model's updates cycle. We consider iCarl, a state of the art IL method, and MIRAGE-2019, a public dataset with traffic from 40 Android apps, aiming to understand "if there is a case for incremental learning in traffic classification". By dissecting iCarl internals, we discuss ways to improve its design, contributing a revised version, namely iCarl+. Despite our analysis reveals their infancy, IL techniques are a promising research area on the roadmap towards automated DL-based traffic analysis systems.

研究の動機と目的

• 進化するモバイルトラフィック分類のための深層学習モデルの再訓練にかかる高い計算コストに対処すること。
• 動的アプリケーションセットを伴う実世界のモバイルトラフィック環境において、クラスインクリメンタルラーニング（CIL）の実現可能性を評価すること。
• ネットワークトラフィック分類に応用した際の、最先端のCIL手法（例：iCarl）における設計上の制限を特定すること。
• iCarl+を提案・検証すること。これは、より良いパフォーマンスを実現するための改訂されたアーキテクチャとメモリ利用法を備えたCILフレームワークである。
• 将来の研究を、スケーラブルで自動的かつ効率的なDLベースのトラフィック分析システムの方向へ導くこと。

提案手法

• MIRAGE-2019データセットのフロー単位特徴量を用い、1次元畳み込みニューラルネットワーク（1D CNN）ベースのトラフィック分類器にiCarl CILフレームワークを適応する。
• iCarlの元のNMC分類器をソフトマックス活性化関数に置き換えることで、意思決定境界の学習を改善する。
• 新規クラスの数に応じてスケーリングされる動的出力層拡張を導入し、ユニットの過剰配備を回避する。
• 既知のクラスからの代表的サンプルを格納するため、ハーディングベースのエクジンプリ選択を用いたメモリバッファを採用する。
• 忘却と新規クラス学習のバランスを取るために、知識蒸留と分類損失を併用する。
• メモリサイズ（100〜50,000エクジンプリ）と更新シナリオの変動に応じて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 iCarlは、トラフィック分類における新しいモバイルアプリケーションを段階的に学習する際、災難的忘却を効果的に緩和できるか？
• RQ2 分類器の選択（NMC対ソフトマックス）が、ネットワークトラフィックタスクにおけるインクリメンタルラーニング性能に与える影響は何か？
• RQ3 iCarl+において、メモリサイズとパフォーマンスのトレードオフ、特に忘却と新規クラスのF1スコアの観点での関係は何か？
• RQ4 F1スコアと訓練効率の観点から、iCarl+は完全再訓練および上限ベースラインと比較してどう異なるか？
• RQ5 なぜCIL手法は、コンピュータビジョンベンチマークと比較して、トラフィック分類では性能が劣るのか？

主な発見

• iCarl+は、モデル更新時間を完全再訓練の23.04分からインクリメンタル更新の2.23分にまで短縮し、訓練コストを90%削減した。
• エクジンプリ数を100から50,000に増加させると、災難的忘却が顕著に軽減されるが、損失関数のトレードオフのため、大きなメモリサイズでは新規クラスのF1スコアが低下する。
• ハーディングベースのエクジンプリ選択は、元のトレーニングセットの44%（10,000エクジンプリ）で上限性能の95%を達成し、効果的なメモリ利用を示した。
• ソフトマックス活性化関数と動的出力層拡張を備えた改訂版iCarl+は、元のiCarlに比べてパフォーマンスが向上し、特に初期のインクリメンタルステップで顕著な改善が見られたが、依然として完全再訓練に劣る。
• 訓練コストの削減にもかかわらず、iCarl+のパフォーマンスは完全再訓練を下回っている。これは、小規模なモデルにおける一般化能力の不足に起因し、トラフィックデータ向けの現在のCILにおけるアーキテクチャ的制限を示唆している。
• 本研究は、CILがトラフィック分類分野ではまだ初期段階にあり、ドメイン適応、損失関数の定式化、サンプリング戦略の分野に主な課題が残っていることを強調している。