[论文解读] Location Augmentation for CNN

Zhenyi Wang, Olga Veksler|arXiv (Cornell University)|Jul 18, 2018

Indoor and Outdoor Localization Technologies参考文献 18被引用 8

一句话总结

本文提出通过在输入RGB图像中增加位置感知通道——直接坐标（行和列）或从图像中心出发的间接距离变换——来增强卷积神经网络（CNN）在计算机视觉任务中的性能。该方法在显著物体分割、语义分割和场景解析任务中显著提升性能，其中距离变换增强效果最佳，原因在于参数量减少且具备有效的空间不变性。

ABSTRACT

CNNs have made a tremendous impact on the field of computer vision in the last several years. The main component of any CNN architecture is the convolution operation, which is translation invariant by design. However, location in itself can be an important cue. For example, a salient object is more likely to be closer to the center of the image, the sky in the top part of an image, etc. To include the location cue for feature learning, we propose to augment the color image, the usual input to CNNs, with one or more channels that carry location information. We test two approaches for adding location information. In the first approach, we incorporate location directly, by including the row and column indexes as two additional channels to the input image. In the second approach, we add location less directly by adding distance transform from the center pixel as an additional channel to the input image. We perform experiments with both direct and indirect ways to encode location. We show the advantage of augmenting the standard color input with location related channels on the tasks of salient object segmentation, semantic segmentation, and scene parsing.

研究动机与目标

• 解决CNN因平移不变性卷积而丢失空间位置线索的局限性。
• 探究通过增强输入通道引入空间先验是否能改善视觉任务中的特征学习。
• 评估直接（坐标）和间接（距离变换）两种方法编码位置信息的效果。
• 评估位置增强对多种分割基准中深层网络性能的影响。
• 评估添加位置通道时模型复杂度与性能增益之间的权衡。

提出的方法

• 在标准RGB输入基础上增加两个额外通道，编码像素的行索引和列索引（直接位置编码）。
• 用表示从图像中心起欧氏距离的单个距离变换通道替代直接坐标（间接编码）。
• 使用增强输入训练全卷积网络（FCNs），保持标准网络结构，仅修改输入层。
• 以FCN-32s作为基础网络，在Cityscapes和PASCAL-S数据集上使用SGD和高动量进行训练。
• 比较RGB-only、RGB+coordinates、RGB+distance以及RGB+coordinates+distance输入的性能。
• 通过随机初始化第一层滤波器确保公平比较，避免预训练权重对位置通道的偏差影响。

实验结果

研究问题

• RQ1 在CNN输入中添加位置信息是否能提升语义和实例级分割任务的性能？
• RQ2 直接坐标编码与间接距离变换编码中，哪种方法性能更优？原因是什么？
• RQ3 网络深度如何影响位置增强的相对收益？
• RQ4 是否存在某些特定物体类别或场景类别，使得位置增强带来显著更大的性能提升？
• RQ5 添加位置通道的计算成本是多少？在更深网络中是否仍可忽略不计？

主要发现

• 在Cityscapes场景解析基准上，通过距离变换添加位置信息（RGB+dist）相比仅使用RGB输入，mIoU提升了3.3%。
• 距离变换方法在大多数情况下优于直接坐标编码（RGB+coord），可能由于参数更少且具备足够的空间不变性。
• 在PASCAL-S数据集上，最佳配置（RGB+dist+coord）相比仅使用RGB输入，F-measure提升了5.2%。
• 飞机和鸟类类别获得最大增益（分别提升8.5%和接近5%），因为它们通常位于图像上半部分。
• 公交车类别在使用位置增强后未见性能提升，可能是因为数据集中其空间分布比汽车更随机。
• 尽管更深网络对位置增强的敏感性降低，但性能增益在深层架构中依然显著，且计算开销可忽略不计。