[论文解读] Deeply-Fused Nets

Jingdong Wang, Zhen Wei+2 more|arXiv (Cornell University)|May 25, 2016

Advanced Neural Network Applications参考文献 32被引用 63

一句话总结

本文提出了一种名为深度融合网络（deeply-fused nets）的新颖深度学习架构，该架构在多个层级上融合多个基础网络（特别是深层和浅层网络）的中间表示。通过实现深度融合，该方法增强了特征学习能力，改善了信息流动，降低了网络的有效深度，并在性能上优于ResNet和Highway网络，同时与最先进模型相比也表现出具有竞争力的结果。

ABSTRACT

In this paper, we present a novel deep learning approach, deeply-fused nets. The central idea of our approach is deep fusion, i.e., combine the intermediate representations of base networks, where the fused output serves as the input of the remaining part of each base network, and perform such combinations deeply over several intermediate representations. The resulting deeply fused net enjoys several benefits. First, it is able to learn multi-scale representations as it enjoys the benefits of more base networks, which could form the same fused network, other than the initial group of base networks. Second, in our suggested fused net formed by one deep and one shallow base networks, the flows of the information from the earlier intermediate layer of the deep base network to the output and from the input to the later intermediate layer of the deep base network are both improved. Last, the deep and shallow base networks are jointly learnt and can benefit from each other. More interestingly, the essential depth of a fused net composed from a deep base network and a shallow base network is reduced because the fused net could be composed from a less deep base network, and thus training the fused net is less difficult than training the initial deep base network. Empirical results demonstrate that our approach achieves superior performance over two closely-related methods, ResNet and Highway, and competitive performance compared to the state-of-the-arts.

研究动机与目标

• 解决在深度神经网络中学习有效多尺度表征的挑战。
• 通过在多个中间层融合浅层和深层基础网络的特征，改善深度架构中的信息流动。
• 通过利用浅层和深层基础网络的互补优势，降低最终网络的有效深度。
• 实现基础网络的联合训练，使其在优化过程中能相互受益。
• 在降低训练难度的同时，实现优于现有方法（如ResNet和Highway网络）的性能。

提出的方法

• 该方法通过在多个层级上结合深层基础网络和浅层基础网络的中间特征图来实现深度融合。
• 融合后的表征作为每个基础网络剩余部分的输入，从而实现融合架构的端到端学习。
• 融合发生在多个中间层，使网络能够学习分层的、多尺度的表征。
• 深层和浅层网络联合训练，通过共享表征实现相互提升。
• 该架构降低了最终网络的有效深度，使训练比单独训练深层基础网络更加高效。
• 该方法设计具有通用性，允许相同的融合网络被重复用作新基础网络以进行进一步融合。

实验结果

研究问题

• RQ1 融合深层和浅层基础网络的中间表征是否能提升特征学习能力和模型性能？
• RQ2 深度融合如何影响深度神经网络中的信息流动？
• RQ3 浅层和深层网络的联合训练是否能带来更好的泛化能力并降低训练难度？
• RQ4 能否构建一个深度小于原始深层基础网络的融合网络，同时保持或提升性能？
• RQ5 与ResNet和Highway网络等成熟架构相比，该方法在准确率和训练效率方面表现如何？

主要发现

• 深度融合网络在基准任务上的表现优于ResNet和Highway网络。
• 该方法改善了信息从深层基础网络早期层到最终输出的流动，同时也改善了从输入到深层网络后期层的信息流动。
• 深层和浅层网络的联合训练带来了相互益处，增强了整体特征表征能力。
• 融合网络的有效深度降低，使其比原始深层基础网络更容易训练。
• 通过在多个融合点结合多个基础网络，该方法实现了多尺度表征学习。
• 实验结果表明，该方法在性能上与最先进模型具有竞争力，验证了深度融合的有效性。