[论文解读] Autonomous Deep Learning: Continual Learning Approach for Dynamic Environments

Andri Ashfahani, Mahardhika Pratama|arXiv (Cornell University)|Oct 17, 2018

Data Stream Mining Techniques被引用 20

一句话总结

本文提出自主深度学习（ADL），一种用于动态数据流的持续学习框架，能够实时自主构建并演化深度神经网络架构。通过整合概念漂移检测、动态层创建以及基于网络重要性的剪枝机制，ADL在非平稳环境中实现了最先进的准确率——相比集成方法最高提升68%，同时有效缓解了灾难性遗忘问题。

ABSTRACT

The feasibility of deep neural networks (DNNs) to address data stream problems still requires intensive study because of the static and offline nature of conventional deep learning approaches. A deep continual learning algorithm, namely autonomous deep learning (ADL), is proposed in this paper. Unlike traditional deep learning methods, ADL features a flexible structure where its network structure can be constructed from scratch with the absence of an initial network structure via the self-constructing network structure. ADL specifically addresses catastrophic forgetting by having a different-depth structure which is capable of achieving a trade-off between plasticity and stability. Network significance (NS) formula is proposed to drive the hidden nodes growing and pruning mechanism. Drift detection scenario (DDS) is put forward to signal distributional changes in data streams which induce the creation of a new hidden layer. The maximum information compression index (MICI) method plays an important role as a complexity reduction module eliminating redundant layers. The efficacy of ADL is numerically validated under the prequential test-then-train procedure in lifelong environments using nine popular data stream problems. The numerical results demonstrate that ADL consistently outperforms recent continual learning methods while characterizing the automatic construction of network structures.

研究动机与目标

• 解决传统深度学习在数据流环境中模型静态、难以适应持续性概念漂移数据的局限性。
• 通过允许网络深度与宽度的动态适应，突破固定架构约束，克服终身学习中的灾难性遗忘问题。
• 开发一种自组织深度神经网络，从零开始构建网络结构，无需用户定义的超参数或初始网络配置。
• 通过最小化计算开销与冗余参数，确保在高维非平稳数据流中的可扩展性与高效性。
• 在预序测试-训练协议下验证该框架，以模拟具有延迟标签的真实世界流式处理场景。

提出的方法

• 提出一种自构建网络结构，从零开始演化，无需预先设定架构假设，实现模型设计的完全自主。
• 采用漂移检测场景（DDS）识别数据流中的分布变化，当检测到概念漂移时触发新隐藏层的创建。
• 应用网络重要性（NS）公式，根据节点对模型性能的贡献程度，指导隐藏节点的动态增删。
• 利用最大信息压缩指数（MICI）作为复杂度降低机制，消除冗余层并保持模型效率。
• 实施不同深度结构，结合动态投票与胜出层自适应机制，平衡模型可塑性与稳定性，减轻灾难性遗忘。
• 在预序测试-训练评估协议下运行，以模拟具有延迟标签的实时、顺序数据处理。

实验结果

研究问题

• RQ1 深度神经网络能否在无用户预设初始结构的前提下，自主响应演化中的数据流从零开始构建其网络架构？
• RQ2 持续学习框架在存在概念漂移的非平稳数据环境中，能否有效缓解灾难性遗忘？
• RQ3 通过漂移检测实现的动态深度自适应，相较于固定深度或浅层架构，能在多大程度上提升模型准确率与泛化能力？
• RQ4 网络重要性与MICI机制的整合，如何增强模型效率并防止演化中深度网络的冗余？
• RQ5 在预序评估下，该框架能否在准确率、执行时间与参数效率方面超越现有持续学习方法？

主要发现

• 在HTRU2数据集上，ADL实现了99.85% ± 0.18的分类率，显著优于次优方法（pE为96.7% ± 6%），较集成算法性能提升高达68%。
• 在SUSY与Hepmass大规模数据集上，ADL取得了最高的分类率，证实其在处理高维非平稳数据流时的鲁棒性。
• 在大多数情况下，ADL的执行时间最快，归因于其基于MLP的架构，相比集成或基于规则的方法，计算与内存开销更低。
• ADL成功扩展至置换MNIST问题，准确率较DNN高出3%，且优于其他因复杂度过高而无法扩展的演化模型。
• 在HTRU2上，ADL仅维持1120 ± 50个参数的同时实现接近完美的准确率，表明MICI与NS驱动剪枝在复杂度控制方面具有高效性。
• ADL采用不同深度结构结合动态投票与胜出层自适应机制，显著提升了知识保留能力，较固定结构DNN及其他持续学习基线方法更有效缓解灾难性遗忘。