[论文解读] Efficient Smoothing of Dilated Convolutions for Image Segmentation

Thomas Ziegler, Manuel Fritsche+2 more|arXiv (Cornell University)|Mar 19, 2019

Advanced Neural Network Applications参考文献 17被引用 6

一句话总结

本文提出了一种轻量级、无需参数的空洞卷积平滑方法，通过在空洞卷积之前对输入特征应用简单的插值滤波器（平均或高斯）来实现。该方法在显著降低训练成本的同时提升了语义图像分割的精度，在 PASCAL VOC 2012 和 Cityscapes 上实现了最先进性能，相较于 DeepLabv2 仅增加了 2.89–4.34% 的训练时间。

ABSTRACT

Dilated Convolutions have been shown to be highly useful for the task of image segmentation. By introducing gaps into convolutional filters, they enable the use of larger receptive fields without increasing the original kernel size. Even though this allows for the inexpensive capturing of features at different scales, the structure of the dilated convolutional filter leads to a loss of information. We hypothesise that inexpensive modifications to Dilated Convolutional Neural Networks, such as additional averaging layers, could overcome this limitation. In this project we test this hypothesis by evaluating the effect of these modifications for a state-of-the art image segmentation system and compare them to existing approaches with the same objective. Our experiments show that our proposed methods improve the performance of dilated convolutions for image segmentation. Crucially, our modifications achieve these results at a much lower computational cost than previous smoothing approaches.

研究动机与目标

• 解决空洞卷积中因信息丢失和网格化伪影导致的问题，且不增加模型复杂度。
• 降低现有平滑方法的计算成本，这些方法通过引入可训练参数实现。
• 评估简单、不可训练的滤波器是否能够匹配或超越复杂、参数密集型基线方法的性能。
• 证明通过更低的训练开销可实现更优的分割质量。

提出的方法

• 在每个输入通道上应用预滤波器（平均或高斯）以增强局部空间信息，再进行空洞卷积。
• 使用固定、不可学习的滤波器，避免引入额外的可训练参数。
• 将滤波步骤直接集成到网络架构中，置于每个空洞卷积层之前。
• 与最先进基线方法（G Interact 和 SS Conv）进行性能对比，后者引入了额外的可训练层。
• 在 PASCAL VOC 2012 和 Cityscapes 上使用一致的超参数训练模型。
• 通过 mIoU 和训练时间来衡量性能，以评估精度和效率。

实验结果

研究问题

• RQ1 简单、不可训练的滤波器是否能提升空洞卷积在图像分割中的鲁棒性？
• RQ2 应用预滤波器是否能减少空洞卷积中的网格化伪影和信息丢失？
• RQ3 该方法是否能在显著降低训练成本的前提下，实现与现有平滑方法相当或更优的分割性能？
• RQ4 所提方法的性能增益在不同数据集和网络配置下是否具有鲁棒性？

主要发现

• 在 Cityscapes 数据集上，平均滤波器相较于基线 DeepLabv2 实现了更大的 mIoU 提升，并优于 SS Conv 基线方法。
• 在 Cityscapes 上，高斯滤波器相较于 DeepLabv2 实现了微小的 mIoU 提升，且仅增加了 2.89% 的训练时间。
• 平均滤波器仅比 DeepLabv2 多消耗 4.34% 的训练时间，但性能优于更复杂的 SS Conv 方法（后者需多消耗 22.04% 的训练时间）。
• 所提方法在 PASCAL VOC 2012 和 Cityscapes 上均实现了最先进性能，且计算开销极低。
• 尽管未引入任何额外可训练参数，该方法仍优于基线 SS Conv，表明性能提升并不依赖于模型复杂度。
• 结果表明，简单、固定的滤波器能够有效缓解空洞卷积中的信息丢失和网格化伪影。