[论文解读] A First Look at Class Incremental Learning in Deep Learning Mobile Traffic Classification

Giampaolo Bovenzi, Lixuan Yang+5 more|arXiv (Cornell University)|Jul 9, 2021

Internet Traffic Analysis and Secure E-voting参考文献 44被引用 13

一句话总结

本文研究了基于深度学习的移动流量分类中类增量学习（CIL）的应用，采用iCarl方法和MIRAGE-2019数据集。提出iCarl+，一种改进版本，引入更优的Softmax激活函数与动态输出层扩展机制，结果表明IL可将训练时间减少约90%，同时缓解灾难性遗忘问题，但因小型模型泛化能力有限，性能仍落后于完整微调。

ABSTRACT

The recent popularity growth of Deep Learning (DL) re-ignited the interest towards traffic classification, with several studies demonstrating the accuracy of DL-based classifiers to identify Internet applications' traffic. Even with the aid of hardware accelerators (GPUs, TPUs), DL model training remains expensive, and limits the ability to operate frequent model updates necessary to fit to the ever evolving nature of Internet traffic, and mobile traffic in particular. To address this pain point, in this work we explore Incremental Learning (IL) techniques to add new classes to models without a full retraining, hence speeding up model's updates cycle. We consider iCarl, a state of the art IL method, and MIRAGE-2019, a public dataset with traffic from 40 Android apps, aiming to understand "if there is a case for incremental learning in traffic classification". By dissecting iCarl internals, we discuss ways to improve its design, contributing a revised version, namely iCarl+. Despite our analysis reveals their infancy, IL techniques are a promising research area on the roadmap towards automated DL-based traffic analysis systems.

研究动机与目标

• 为解决深度学习模型在演化移动流量分类任务中重新训练带来的高计算成本问题。
• 评估类增量学习（CIL）在具有动态应用集合的真实移动流量场景中的可行性。
• 识别现有SOTA CIL方法（如iCarl）在应用于网络流量分类时的设计局限性。
• 提出并验证iCarl+，一种改进的CIL框架，具备更优的架构设计与内存利用策略，以提升性能。
• 为未来研究提供指导，推动可扩展、自动化且高效的基于深度学习的流量分析系统发展。

提出的方法

• 将iCarl CIL框架适配至基于1D CNN的流量分类器，使用MIRAGE-2019数据集中的流级特征。
• 用Softmax激活函数替代iCarl中原始的NMC分类器，以改善决策边界学习。
• 引入动态输出层扩展机制，使其随新增类别数量自适应扩展，避免单位过度配置。
• 采用基于聚类的原型选择策略，构建记忆缓冲区，存储已知类别的代表性样本。
• 结合知识蒸馏与分类损失，平衡遗忘抑制与新类别学习之间的权衡。
• 在不同内存大小（100至50k个原型）及多种更新场景下评估性能表现。

实验结果

研究问题

• RQ1 在增量学习新移动应用的流量分类任务中，iCarl能否有效缓解灾难性遗忘？
• RQ2 在网络安全流量任务中，分类器选择（NMC vs. Softmax）对增量学习性能有何影响？
• RQ3 在iCarl+中，内存大小与性能之间的权衡关系如何，尤其在遗忘率与新类别F1分数方面？
• RQ4 在F1准确率与训练效率方面，iCarl+相较于完整微调与理论上限基线的表现如何？
• RQ5 为何CIL方法在流量分类任务中的表现劣于计算机视觉基准？

主要发现

• iCarl+将模型更新时间从完整微调的23.04分钟降低至2.23分钟，训练成本减少约90%。
• 内存大小从100增至50k个原型可显著减少灾难性遗忘，但更大的内存反而因损失函数权衡而降低新类别F1分数。
• 基于聚类的原型选择方法仅使用原始训练集大小的44%（10k个原型）即达到理论上限性能的95%，展现出高效的内存利用能力。
• 采用Softmax激活与动态输出层扩展的改进版iCarl+在性能上优于原始iCarl，尤其在早期增量学习阶段，但仍不及完整微调。
• 尽管训练成本显著降低，iCarl+的性能仍低于完整微调，原因在于小型模型泛化能力不足，表明当前CIL在流量数据上的架构设计仍存在局限。
• 本研究指出，CIL在流量分类领域尚处于起步阶段，关键挑战仍存在于领域自适应、损失函数设计与采样策略等方面。