[论文解读] Learnable Tree Filter for Structure-preserving Feature Transform

Lin Song, Yanwei Li+5 more|arXiv (Cornell University)|Sep 27, 2019

Advanced Neural Network Applications被引用 22

一句话总结

本文提出了一种可学习的树滤波模块，通过利用基于特征差异性的最小生成树（MST）来建模语义分割中的长距离依赖关系，同时保持物体结构。该方法采用线性时间算法实现高效推理，在与PSP和非局部模块相比计算开销极低的情况下，实现了最先进性能。

ABSTRACT

Learning discriminative global features plays a vital role in semantic segmentation. And most of the existing methods adopt stacks of local convolutions or non-local blocks to capture long-range context. However, due to the absence of spatial structure preservation, these operators ignore the object details when enlarging receptive fields. In this paper, we propose the learnable tree filter to form a generic tree filtering module that leverages the structural property of minimal spanning tree to model long-range dependencies while preserving the details. Furthermore, we propose a highly efficient linear-time algorithm to reduce resource consumption. Thus, the designed modules can be plugged into existing deep neural networks conveniently. To this end, tree filtering modules are embedded to formulate a unified framework for semantic segmentation. We conduct extensive ablation studies to elaborate on the effectiveness and efficiency of the proposed method. Specifically, it attains better performance with much less overhead compared with the classic PSP block and Non-local operation under the same backbone. Our approach is proved to achieve consistent improvements on several benchmarks without bells-and-whistles. Code and models are available at https://github.com/StevenGrove/TreeFilter-Torch.

研究动机与目标

• 解决现有全局上下文聚合方法在长距离特征建模过程中忽略物体细节的局限性。
• 开发一种可微分的、结构保持的模块，在特征转换过程中保持空间和语义结构。
• 设计一种高效、线性时间的算法，使基于树的滤波在深度网络中具有实用性。
• 将模块集成到统一的语义分割框架中，实现一致的性能提升。
• 在PASCAL VOC 2012和Cityscapes上实现最先进结果，且无需使用复杂技巧。

提出的方法

• 该方法从特征图构建一个低层次引导的最小生成树（MST），其中顶点代表像素，边的权重由高层语义差异性决定。
• 通过反向传播学习边权重，实现基于特征嵌入的树结构端到端优化。
• 提出一种新型线性时间算法，将计算复杂度从O(N²)降低至O(N)，使模块适用于实时部署。
• 将树滤波模块作为通用可微分组件嵌入深度神经网络，用于多尺度特征聚合。
• 该框架将树滤波模块作为PSP和非局部模块在主干网络中的替代或补充。
• 通过在MST拓扑中编码空间邻近性和特征差异性，该模块保持了物体细节。

实验结果

研究问题

• RQ1 可学习的树结构图能否在语义分割中有效建模长距离依赖关系，同时保持细粒度的物体细节？
• RQ2 能否设计一种可微分且高效的树滤波模块，使其在计算成本极低的前提下可扩展至大尺寸特征图？
• RQ3 所提出的模块是否在准确率和效率方面均优于标准的全局上下文模块（如PSP和非局部模块）？
• RQ4 树滤波模块能否在不修改现有分割架构的前提下被有效集成？
• RQ5 该方法是否在不同基准上具有泛化能力，并在无需数据增强或预训练的情况下实现最先进性能？

主要发现

• 所提出的树滤波器（TF）在PASCAL VOC 2012上使用ResNet-50时达到74.9%的mIoU，FLOPs增加仅8FLOPs，优于PSP（74.3%）和NL（74.2%），且FLOP增幅不足1.5%。
• 使用ResNet-101和多阶段TF时，该方法在PASCAL VOC 2012验证集上达到75.6%的mIoU，较基线提升8.3个百分点。
• 在Cityscapes上，仅使用精细标注数据和原始ResNet-101，该方法达到80.8%的mIoU，优于先前最先进方法。
• 在使用MS-COCO预训练的情况下，该方法在PASCAL VOC 2012上达到86.3%的mIoU，创下新的最先进结果。
• 线性时间实现相比标准非局部操作将FLOPs降低30%以上，同时保持或提升准确率。
• 消融实验表明，树滤波器在不同主干网络和设置下均能一致提升性能，且计算开销极低。