[论文解读] Dense Residual Network: Enhancing Global Dense Feature Flow for Character Recognition

Zhao Zhang, Zemin Tang+5 more|arXiv (Cornell University)|Jan 23, 2020

Handwritten Text Recognition Techniques参考文献 51被引用 4

一句话总结

本文提出了一种新型CNN架构——快速密集残差网络（FDRN），通过引入快速残差密集块（f-RDB）实现高效局部特征融合，以及全局密集块（GDB）实现自适应、整体化的全局残差特征学习，从而增强场景文本识别中的全局密集特征流动。FDRN通过在所有层中有效整合层次化特征，在计算成本更低的情况下，实现了多个文本识别基准上的最先进性能。

ABSTRACT

Deep Convolutional Neural Networks (CNNs), such as Dense Convolutional Networks (DenseNet), have achieved great success for image representation by discovering deep hierarchical information. However, most existing networks simply stacks the convolutional layers and hence failing to fully discover local and global feature information among layers. In this paper, we mainly explore how to enhance the local and global dense feature flow by exploiting hierarchical features fully from all the convolution layers. Technically, we propose an efficient and effective CNN framework, i.e., Fast Dense Residual Network (FDRN), for text recognition. To construct FDRN, we propose a new fast residual dense block (f-RDB) to retain the ability of local feature fusion and local residual learning of original RDB, which can reduce the computing efforts at the same time. After fully learning local residual dense features, we utilize the sum operation and several f-RDBs to define a new block termed global dense block (GDB) by imitating the construction of dense blocks to learn global dense residual features adaptively in a holistic way. Finally, we use two convolution layers to construct a down-sampling block to reduce the global feature size and extract deeper features. Extensive simulations show that FDRN obtains the enhanced recognition results, compared with other related models.

研究动机与目标

• 解决现有CNN在完全利用所有层中的层次化局部与全局特征方面的局限性。
• 通过增强局部残差学习与全局密集特征聚合，改善深度网络中的特征流动。
• 设计一种计算效率高的架构，在场景文本识别任务中保持高性能。
• 通过受密集块启发的新型模块结构，实现对全局残差特征的自适应、整体化学习。
• 通过优化残差连接与密集连接，在保持或提升识别准确率的同时，降低计算开销。

提出的方法

• 提出一种快速残差密集块（f-RDB），在降低计算成本的同时保留局部特征融合与残差学习能力。
• 引入一种全局密集块（GDB），其设计模仿密集块，以整体化、自适应的方式学习全局残差特征。
• 在GDB中使用求和操作与多个f-RDB，实现跨层特征聚合，以增强全局表征能力。
• 采用两个卷积层作为下采样模块，以减小特征图尺寸并提取更深层表征。
• 以堆叠的层次化方式组合f-RDB与GDB，逐步构建深层层次化特征。
• 通过堆叠f-RDB、GDB与下采样模块，构建完整的FDRN网络，以优化特征流动与表征能力。

实验结果

研究问题

• RQ1 如何在深度CNN中增强局部与全局特征流动，以提升文本识别性能？
• RQ2 在统一架构中整合局部残差学习与全局密集特征聚合会产生何种影响？
• RQ3 轻量化模块设计（f-RDB）是否能在降低计算成本的同时保持文本识别网络的性能？
• RQ4 所提出的全局密集块（GDB）相较于标准残差块或密集块，在特征表征方面有何改进？
• RQ5 在所有层中对特征进行层次化整合，能在多大程度上提升场景文本识别的识别准确率？

主要发现

• FDRN在多个场景文本识别基准数据集上实现了最先进性能，优于现有模型。
• 所提出的f-RDB在降低计算成本的同时，保持了标准残差密集块的局部特征融合与残差学习能力。
• 全局密集块（GDB）实现了对全局残差特征的自适应、整体化学习，显著提升了特征表征能力。
• FDRN在所有层中展现出优越的泛化能力与特征流动，从而提升了识别准确率。
• 大量消融实验验证了f-RDB与GDB组件的有效性，可在不增加推理复杂度的前提下显著提升性能。