[论文解读] Dynamic Feature Fusion for Semantic Edge Detection

Yuan Hu, Yunpeng Chen+2 more|arXiv (Cornell University)|Feb 25, 2019

Advanced Neural Network Applications参考文献 16被引用 5

一句话总结

本文提出动态特征融合（DFF），一种用于语义边缘检测的新方法，通过根据输入内容自适应学习位置特定的融合权重，实现多层级特征的动态平衡，从而提升边缘预测的清晰度。该方法优于固定权重融合和当前最先进（SOTA）的方法，在Cityscapes数据集上达到80.7% MF（ODS），在SBD数据集上达到75.4%，创下新的SOTA结果。

ABSTRACT

Features from multiple scales can greatly benefit the semantic edge detection task if they are well fused. However, the prevalent semantic edge detection methods apply a fixed weight fusion strategy where images with different semantics are forced to share the same weights, resulting in universal fusion weights for all images and locations regardless of their different semantics or local context. In this work, we propose a novel dynamic feature fusion strategy that assigns different fusion weights for different input images and locations adaptively. This is achieved by a proposed weight learner to infer proper fusion weights over multi-level features for each location of the feature map, conditioned on the specific input. In this way, the heterogeneity in contributions made by different locations of feature maps and input images can be better considered and thus help produce more accurate and sharper edge predictions. We show that our model with the novel dynamic feature fusion is superior to fixed weight fusion and also the naïve location-invariant weight fusion methods, via comprehensive experiments on benchmarks Cityscapes and SBD. In particular, our method outperforms all existing well established methods and achieves new state-of-the-art.

研究动机与目标

• 为解决固定权重融合在语义边缘检测中的局限性，该方法未能充分考虑图像中内容和空间位置的变化。
• 开发一种动态融合机制，根据局部图像内容和空间上下文自适应分配不同的融合权重。
• 通过内容感知的融合方式，更有效地利用低层和高层特征，从而提升边缘检测性能。
• 通过实现更精确和更清晰的边缘定位，实现在Cityscapes和SBD等基准数据集上的最先进性能。

提出的方法

• 提出一种新型归一化器，在融合前将多层级特征图缩放至相同量级，确保各层级对融合结果的贡献均衡。
• 设计一种位置自适应的权重学习器，为每个空间位置生成基于输入内容的条件化融合权重。
• 采用可学习的、未激活的融合权重模块，允许灵活且无约束的融合权重，避免强制其总和为1。
• 将学习到的、空间可变的权重应用于动态融合高层语义特征与低层、类别无关的边缘特征。
• 采用双分支架构：一个包含归一化器的特征提取器，以及一个执行动态融合的自适应权重融合模块。
• 避免在融合权重上使用如softmax等激活函数，以保留完整的动态范围并避免引发特征图之间的竞争。

实验结果

研究问题

• RQ1 为何尽管使用了多层级特征，固定权重融合在语义边缘检测中仍无法取得最优结果？
• RQ2 自适应、内容条件化的融合权重是否能提升边缘定位精度并减少物体内部的虚假响应？
• RQ3 基于局部图像内容的动态融合与固定或位置不变的融合策略相比，在性能和鲁棒性方面有何差异？
• RQ4 动态特征融合在多大程度上能有效利用低层特征以增强边缘细节，同时抑制噪声？
• RQ5 所提出的方法在不同主干网络和输入分辨率下是否具备良好的泛化能力？

主要发现

• 所提出的DFF模型在Cityscapes数据集上达到80.7% MF（ODS），超越所有先前的最先进方法。
• 在Cityscapes数据集上，当采用更严格的匹配容差（0.0035）时，DFF比SEAL高出5%，表明其具有更优的边缘定位精度。
• 在SBD数据集上，DFF达到75.4% MF（ODS），创下新的最先进性能记录。
• 当使用ResNet101替代ResNet50时，模型性能提升1.5%，证明其在更深主干网络上具有良好的泛化能力。
• 移除所提出的归一化器后性能下降1.5%，证实其在平衡多层级特征方面起着关键作用。
• 在融合权重上使用softmax激活函数会使性能下降0.3%，证明无约束权重在动态融合中更具有效性。