[论文解读] Convolutional Residual Memory Networks

Joel Ruben Antony Moniz, Christopher Pal|arXiv (Cornell University)|Jun 16, 2016

Advanced Neural Network Applications参考文献 28被引用 11

一句话总结

本文提出卷积残差记忆网络（CRMN），一种新颖的架构，将长短期记忆（LSTM）单元整合进深度残差卷积神经网络，以增强特征记忆和梯度流动。通过使用LSTM处理分层特征表示，CRMN在CIFAR-100上实现了最先进性能（95.84%准确率），且网络层数更少、计算量更小，优于深层ResNets。

ABSTRACT

Very deep convolutional neural networks (CNNs) yield state of the art results on a wide variety of visual recognition problems. A number of state of the the art methods for image recognition are based on networks with well over 100 layers and the performance vs. depth trend is moving towards networks in excess of 1000 layers. In such extremely deep architectures the vanishing or exploding gradient problem becomes a key issue. Recent evidence also indicates that convolutional networks could benefit from an interface to explicitly constructed memory mechanisms interacting with a CNN feature processing hierarchy. Correspondingly, we propose and evaluate a memory mechanism enhanced convolutional neural network architecture based on augmenting convolutional residual networks with a long short term memory mechanism. We refer to this as a convolutional residual memory network. To the best of our knowledge this approach can yield state of the art performance on the CIFAR-100 benchmark and compares well with other state of the art techniques on the CIFAR-10 and SVHN benchmarks. This is achieved using networks with more breadth, much less depth and much less overall computation relative to comparable deep ResNets without the memory mechanism. Our experiments and analysis explore the importance of the memory mechanism, network depth, breadth, and predictive performance.

研究动机与目标

• 通过集成记忆机制，解决极深卷积神经网络中的梯度消失问题。
• 使深度CNN能够通过基于LSTM的记忆接口，选择性地保留和操作高层特征。
• 在CIFAR-10、CIFAR-100和SVHN等标准视觉基准上，以更少的网络深度和计算成本，提升分类性能。
• 探究深度、宽度与记忆机制在深度学习架构中相互作用的机制。

提出的方法

• 将LSTM模块嵌入深度残差网络，使其将连续残差块输出的特征图作为序列输入进行处理。
• 利用LSTM在各网络层之间维持并操作记忆状态，实现长距离特征保留与上下文推理。
• 将CNN主干网络输出的高层抽象特征作为LSTM的输入步长，使记忆状态在每个抽象层级上得以更新。
• 在分类器头之前，将LSTM的最终隐藏状态与最终CNN特征进行融合，实现联合表征学习。
• 采用并行计算路径，使CNN与LSTM同步运行，实现在标准卷积操作的同时进行算法处理。
• 应用重复随机学习率（RRLR）调度策略，并在深层配置中使用预激活残差块，以提升训练稳定性。

实验结果

研究问题

• RQ1 在残差CNN中集成LSTM记忆机制，是否能提升图像分类基准的性能？
• RQ2 该记忆机制如何影响极深网络中的梯度流动与训练稳定性？
• RQ3 与标准深层ResNets相比，CRMN架构是否能在更少深度和计算量下实现最先进性能？
• RQ4 在CIFAR-10、CIFAR-100和SVHN上，网络深度、宽度与记忆机制对预测性能的相对贡献如何？
• RQ5 该记忆增强架构是否能在SVHN等真实世界数据集上泛化，同时保持高准确率且仅需极少架构修改？

主要发现

• CRMN在CIFAR-100上实现了95.84%的top-1准确率，创下了当时发表时的新SOTA记录。
• 在CIFAR-10上，CRMN模型以28层和160个特征图达到95.60%的准确率，优于先前方法，包括宽ResNets。
• 在SVHN上，模型实现了98.32%的测试准确率，以微小差距超越此前最佳结果98.36%，并优于基于随机深度和Dropout的方法。
• CRMN以显著更少的层数实现优异性能：例如，32层CRMN（192个特征图）在CIFAR-100上超越了1001层的ResNet。
• 记忆机制被证明至关重要：消融实验表明，移除LSTM后性能显著下降，证实其在特征保留与梯度稳定性中的关键作用。
• 该架构表明，减少深度、增加宽度并结合记忆机制，可优于仅依赖极端深度的传统ResNet设计。