[论文解读] Learning Implicitly Recurrent CNNs Through Parameter Sharing

Pedro Savarese, Michael Maire|arXiv (Cornell University)|Feb 1, 2019

Advanced Neural Network Applications被引用 19

一句话总结

本文提出了一种参数共享方案，使卷积神经网络（CNNs）能够通过学习到的共享参数模板线性组合，隐式学习循环结构。通过限制模板数量，该方法在保持准确率的同时实现了显著的参数效率，并在算法任务上实现了快速、可泛化的训练，提供了一种性能可与神经架构搜索相媲美的混合CNN-循环架构。

ABSTRACT

We introduce a parameter sharing scheme, in which different layers of a convolutional neural network (CNN) are defined by a learned linear combination of parameter tensors from a global bank of templates. Restricting the number of templates yields a flexible hybridization of traditional CNNs and recurrent networks. Compared to traditional CNNs, we demonstrate substantial parameter savings on standard image classification tasks, while maintaining accuracy. Our simple parameter sharing scheme, though defined via soft weights, in practice often yields trained networks with near strict recurrent structure; with negligible side effects, they convert into networks with actual loops. Training these networks thus implicitly involves discovery of suitable recurrent architectures. Though considering only the design aspect of recurrent links, our trained networks achieve accuracy competitive with those built using state-of-the-art neural architecture search (NAS) procedures. Our hybridization of recurrent and convolutional networks may also represent a beneficial architectural bias. Specifically, on synthetic tasks which are algorithmic in nature, our hybrid networks both train faster and extrapolate better to test examples outside the span of the training set.

研究动机与目标

• 设计一种参数共享机制，使CNN能够隐式学习循环架构，而无需显式的循环单元。
• 在保持或提升标准图像基准分类准确率的同时，减少模型参数量。
• 探索通过参数共享实现的隐式循环是否能在算法性、分布外的任务上实现更好的泛化能力和更快的训练速度。
• 评估该混合架构是否能达到与最先进神经架构搜索（NAS）方法相当的性能。

提出的方法

• 该方法将CNN的不同层定义为从全局共享模板池中提取的参数张量的有学习线性组合。
• 通过限制模板数量来强制实现参数共享，从而在传统CNN与循环网络之间创建灵活的混合结构。
• 参数共享通过软权重实现，允许反向传播更新组合系数。
• 尽管使用软权重定义，训练后的网络通常会收敛到接近严格循环结构的形态，实际形成循环，从而实现高效推理。
• 该方法通过端到端训练隐式发现合适的循环架构，无需显式架构搜索。

实验结果

研究问题

• RQ1 跨层的参数共享是否能在CNN中引发隐式循环，从而产生有效的循环行为？
• RQ2 这种隐式循环是否能带来更高的参数效率和在算法任务上的更好泛化能力？
• RQ3 由此产生的混合架构是否能达到与最先进NAS方法相当的准确率？
• RQ4 共享模板的数量如何影响模型性能与参数效率？

主要发现

• 所提出的方法在标准图像分类任务上实现了显著的参数节省，同时保持了具有竞争力的准确率。
• 训练后的网络通常会收敛到接近严格循环结构，可转换为实际的循环网络，性能损失可忽略不计。
• 在合成算法任务上，该混合网络训练速度更快，且对分布外测试样本的泛化能力优于标准CNN。
• 尽管未使用显式架构搜索，该方法仍实现了与最先进神经架构搜索（NAS）方法相当的性能。