[论文解读] Deep Layer Aggregation

Fisher Yu, Dequan Wang+2 more|arXiv (Cornell University)|Jul 20, 2017

Face and Expression Recognition参考文献 54被引用 34

一句话总结

本文提出深度层聚合（DLA），一种新颖的架构框架，通过迭代和分层的跳跃连接，在深度卷积神经网络中增强跨层特征融合。通过实现来自不同网络深度的更深层次、多尺度特征聚合，DLA在提升识别准确率和分辨率的同时，减少了参数量和内存使用，在图像分类、语义分割和边界检测任务上实现最先进性能，且无需对架构进行重新设计。

ABSTRACT

Visual recognition requires rich representations that span levels from low to high, scales from small to large, and resolutions from fine to coarse. Even with the depth of features in a convolutional network, a layer in isolation is not enough: compounding and aggregating these representations improves inference of what and where. Architectural efforts are exploring many dimensions for network backbones, designing deeper or wider architectures, but how to best aggregate layers and blocks across a network deserves further attention. Although skip connections have been incorporated to combine layers, these connections have been "shallow" themselves, and only fuse by simple, one-step operations. We augment standard architectures with deeper aggregation to better fuse information across layers. Our deep layer aggregation structures iteratively and hierarchically merge the feature hierarchy to make networks with better accuracy and fewer parameters. Experiments across architectures and tasks show that deep layer aggregation improves recognition and resolution compared to existing branching and merging schemes. The code is at https://github.com/ucbdrive/dla.

研究动机与目标

• 解决现代深度网络中浅层跳跃连接的局限性，后者无法充分挖掘跨深度、尺度和分辨率的分层特征表示。
• 通过实现来自多层的更深层次、结构化特征聚合，提升特征融合效果，增强语义理解与空间精度。
• 设计一种通用的架构扩展，兼容现有主干网络（如ResNet和DenseNet），实现性能提升而无需从头开始训练。
• 证明更深层次的聚合可实现更优的识别与定位性能，且参数量更少、内存占用更低，优于基线架构。

提出的方法

• 提出两种核心结构：用于在各阶段细化分辨率和尺度的迭代深度聚合（IDA），以及通过树状连接在模块和通道间融合特征的分层深度聚合（HDA）。
• 在IDA中采用迭代、多阶段融合，逐步优化特征图，从基础网络开始，逐级提升空间分辨率。
• 在HDA中构建分层的树状跳跃连接模式，实现跨不同阶段和通道的特征交叉与融合，促进更深层次的信息流动。
• 将IDA与HDA整合为统一框架，可应用于任意主干网络（包括ResNet和ResNeXt），无需对架构进行大规模修改。
• 在标准任务（如图像分类、语义分割和边界检测）上应用该框架，采用标准训练协议和多尺度推理。
• 采用多项式学习率调度策略，结合动量优化和数据增强（随机旋转与缩放），以提升泛化能力和收敛性。

实验结果

研究问题

• RQ1 在层之间实现更深层次、结构化的特征聚合，是否能超越标准跳跃连接，在识别准确率和分辨率方面实现进一步提升？
• RQ2 与现有分支与合并方案相比，分层且迭代的特征融合在性能与效率方面表现如何？
• RQ3 通用型聚合框架在不同数据集上对分类、分割和边界检测等多样化任务的性能提升程度如何？
• RQ4 更深层次的聚合是否能通过提升特征利用效率，减少对更宽或更深主干网络的依赖？
• RQ5 DLA是否能在紧凑模型上实现最先进结果，而无需依赖额外数据或复杂后处理？

主要发现

• DLA-34在紧凑模型中实现了ImageNet分类任务的最先进准确率，优于参数更少的ResNet和DenseNet变体。
• 在Cityscapes语义分割任务中，DLA实现了最先进性能，在相同多尺度推理设置下，mIoU指标较RefineNet提升超过2个百分点。
• 在PASCAL Boundaries数据集上，DLA-102取得了最高的ODS（0.766）和OIS（0.754）得分，优于HED及其他最先进方法，在PASCAL数据上训练时较之前工作实现10%的相对提升。
• 在BSDS数据集上，DLA的精确率-召回率曲线最接近人类表现，尽管由于共识真实标签的限制，AP值较低，表明其具有更优的空间定位能力。
• DLA-34采用2s步长时，在PASCAL Boundaries上实现0.754的ODS，优于使用额外数据或多尺度集成训练的模型。
• 消融实验表明，高分辨率输出（如2s步长）对边界检测至关重要，且在达到一定深度后，更深网络无法进一步提升性能，凸显分辨率本身的重要性，而不仅仅是网络深度。