[论文解读] Automatic Construction of Multi-layer Perceptron Network from Streaming Examples

Mahardhika Pratama, Choiru Za’in+3 more|arXiv (Cornell University)|Oct 8, 2019

Data Stream Mining Techniques参考文献 26被引用 4

一句话总结

该论文提出NADINE，一种自组织深度神经网络，能够从实时数据流中自主构建并演化多层感知机（MLP）结构。它通过偏差-方差估计动态调整网络深度与宽度，利用自适应记忆和软遗忘机制缓解灾难性遗忘，在无需用户设定阈值的情况下，于九个数据流分类与回归任务中均表现出优越性能。

ABSTRACT

Autonomous construction of deep neural network (DNNs) is desired for data streams because it potentially offers two advantages: proper model's capacity and quick reaction to drift and shift. While the self-organizing mechanism of DNNs remains an open issue, this task is even more challenging to be developed for standard multi-layer DNNs than that using the different-depth structures, because the addition of a new layer results in information loss of previously trained knowledge. A Neural Network with Dynamically Evolved Capacity (NADINE) is proposed in this paper. NADINE features a fully open structure where its network structure, depth and width, can be automatically evolved from scratch in an online manner and without the use of problem-specific thresholds. NADINE is structured under a standard MLP architecture and the catastrophic forgetting issue during the hidden layer addition phase is resolved using the proposal of soft-forgetting and adaptive memory methods. The advantage of NADINE, namely elastic structure and online learning trait, is numerically validated using nine data stream classification and regression problems where it demonstrates performance improvement over prominent algorithms in all problems. In addition, it is capable of dealing with data stream regression and classification problems equally well.

研究动机与目标

• 解决在数据流中实现自主、增量式深度学习并动态演化网络结构的挑战。
• 解决标准 MLP 在结构演化过程中（特别是隐藏层增加时）的灾难性遗忘问题。
• 消除在线学习中对问题特定阈值或固定网络架构的依赖。
• 为非平稳数据流中的分类与回归任务提供端到端的在线学习能力。
• 开发一种完全开放、可重构的 DNN 架构，实现实时演化且人类干预极少。

提出的方法

• NADINE 采用网络显著性（NS）方法，在隐藏单元层面估计偏差与方差，指导单元的动态增删。
• 通过漂移检测机制触发结构变化，实现网络深度的按需扩展或收缩。
• 自适应记忆机制通过追踪每一层的重要性，保留先前学习知识的相关性。
• 软遗忘机制根据每层的相关性调整 SGD 中的学习敏感度，降低结构更新过程中的灾难性遗忘。
• 该方法以单次遍历、在线方式运行，每个样本仅处理一次，确保适用于数据流的可扩展性。
• 结构决策（增加、剪枝、深度变更）无需预设阈值，依赖泛化误差的统计估计。

实验结果

研究问题

• RQ1 标准 MLP 架构是否可在无需灾难性遗忘的情况下，于在线学习过程中自主演化其深度与宽度？
• RQ2 如何在标准 MLP 的增量结构变化过程中有效缓解灾难性遗忘？
• RQ3 自组织 DNN 是否能在线性数据流中同时保持分类与回归任务的高性能？
• RQ4 在流式环境中，消除问题特定阈值在多大程度上提升了泛化能力与适应性？
• RQ5 自适应记忆与软遗忘机制在结构演化过程中对知识保持起到了何种贡献？

主要发现

• 在预序测试-训练协议下，NADINE 在所有九个数据流分类与回归问题中均优于主流在线学习算法。
• 消融研究显示，若移除层增长机制，准确率将降至 85.85±10.41，表明其对性能具有关键作用。
• 软遗忘机制可减少结构变化期间的性能下降，当其被禁用时，准确率降至 86.23±11.63。
• 自适应记忆机制贡献显著，禁用后平均准确率下降 1.11%（从 89.35±6.79 降至 88.24±7.32）。
• NADINE 在 HEPMASS 数据集上实现了 89.06±6.42 的平均准确率，展现出在复杂高维数据流中的鲁棒性。
• 该方法在分类与回归任务中表现相当，两种模态均未出现性能下降。