[论文解读] What Do We Understand About Convolutional Networks?

Isma Hadji, Richard P. Wildes|arXiv (Cornell University)|Mar 23, 2018

Cell Image Analysis Techniques参考文献 131被引用 101

一句话总结

卷积神经网络的综述，详细介绍架构、构建块、训练方法和迁移学习，并讨论生物启发设计及未解挑战。

ABSTRACT

This document will review the most prominent proposals using multilayer convolutional architectures. Importantly, the various components of a typical convolutional network will be discussed through a review of different approaches that base their design decisions on biological findings and/or sound theoretical bases. In addition, the different attempts at understanding ConvNets via visualizations and empirical studies will be reviewed. The ultimate goal is to shed light on the role of each layer of processing involved in a ConvNet architecture, distill what we currently understand about ConvNets and highlight critical open problems.

研究动机与目标

• 阐明理解ConvNets不仅限于它们在基准测试上的表现。
• 回顾知名的多层架构及其设计决策。
• 从生物学和理论角度检视ConvNets的构建块。
• 总结用于理解ConvNets的可视化与经验研究。
• 突显当前趋势及在ConvNet理解方面的关键待解决问题。

提出的方法

• 对多层网络架构及其历史发展进行综述。
• 讨论神经网络的构建块（RBMs、自编码器、RNN、ConvNets、GANs）。
• 描述包括梯度下降、反向传播和无监督预训练在内的训练方法。
• 分析迁移学习及其实际指南。
• 对2D ConvNets（从AlexNet到DenseNet）的架构演化及其核心创新进行综合。

实验结果

研究问题

• RQ1 学习得到的卷积核和架构选择的哪些方面真正决定了ConvNet的性能？
• RQ2 为什么某些架构决策（例如深度、池化、非线性）会带来更好的结果？
• RQ3 各种训练和预训练策略如何影响数据效率和泛化能力？
• RQ4 跨数据集和任务的迁移学习的作用及影响是什么？
• RQ5 在理解ConvNets方面存在哪些尚待解决的问题与局限性？

主要发现

• ConvNets 将局部连接与权值共享结合池化，构建分层表示和不变性。
• 更深的网络（如 VGG、GoogLeNet、ResNet、DenseNet）取得更好的性能，得益于小过滤器、Inception 模块和跳跃连接等创新。
• ReLU 激活、 dropout、以及数据增强显著提高训练效率和泛化能力。
• 迁移学习之所以有效，是因为分层表示，高层微调通常带来最佳结果；任务之间的相似性会影响迁移效果。
• GANs 提供无监督学习能力，并推动了图像合成及相关任务的进展。
• 训练策略从无监督预训练（例如 RBMs）逐渐发展到监督反向传播，并在混合和自监督方法上持续有兴趣。