[论文解读] Enhancement of SSD by concatenating feature maps for object detection

Jisoo Jeong, Hyojin Park+1 more|arXiv (Cornell University)|May 26, 2017

Advanced Neural Network Applications被引用 50

一句话总结

Rainbow SSD (R-SSD) 通过在不同尺度拼接特征以利用层之间的关系来提升 SSD，从而在不改变基线网络的情况下，以具有竞争速度的更高 mAP 提升。

ABSTRACT

We propose an object detection method that improves the accuracy of the conventional SSD (Single Shot Multibox Detector), which is one of the top object detection algorithms in both aspects of accuracy and speed. The performance of a deep network is known to be improved as the number of feature maps increases. However, it is difficult to improve the performance by simply raising the number of feature maps. In this paper, we propose and analyze how to use feature maps effectively to improve the performance of the conventional SSD. The enhanced performance was obtained by changing the structure close to the classifier network, rather than growing layers close to the input data, e.g., by replacing VGGNet with ResNet. The proposed network is suitable for sharing the weights in the classifier networks, by which property, the training can be faster with better generalization power. For the Pascal VOC 2007 test set trained with VOC 2007 and VOC 2012 training sets, the proposed network with the input size of 300 x 300 achieved 78.5% mAP (mean average precision) at the speed of 35.0 FPS (frame per second), while the network with a 512 x 512 sized input achieved 80.8% mAP at 16.6 FPS using Nvidia Titan X GPU. The proposed network shows state-of-the-art mAP, which is better than those of the conventional SSD, YOLO, Faster-RCNN and RFCN. Also, it is faster than Faster-RCNN and RFCN.

研究动机与目标

• 在靠近输入数据的地方不改变基线网络的前提下，推动提升 SSD 的准确性。
• 探索特征金字塔中层间关系如何被利用以实现更好的检测。
• 高效增加特征图数量以提升对小目标的检测。
• 在分类器中实现权重共享，以提升训练速度和泛化能力。

提出的方法

• 引入虹彩特征拼接，将低层池化特征与高层反卷积特征结合起来。
• 在拼接前应用批量归一化以归一化特征尺度。
• 实现基于池化和基于反卷积的拼接以融合多尺度信息。
• 提出一个跨尺度共享权重的单一分类器网络，通过在各层之间使特征图通道数等化来实现。
• 在 VOC2007+2012 上对 300x300 和 512x512 输入，比较传统的 SSD、基于池化/反卷积的变体、ISSD 与 R-SSD。

实验结果

研究问题

• RQ1 在 SSD 特征金字塔中显式的跨层交互是否能提高检测准确性，尤其是对小目标？
• RQ2 仅在金字塔中增加特征图通道（而非基线网络中），是否在可控的速度下带来更好的准确性？
• RQ3 在跨尺度中具有匹配的特征通道维度的单一共享分类器是否能提升泛化和训练效率？
• RQ4 Rainbow 拼接在 PASCAL VOC07/12 的不同目标尺寸上的召回率和精确度有何影响？

主要发现

• R-SSD 在 300 输入下，在 VOC07+12 上实现 78.5% mAP，帧率 35.0 FPS。
• R-SSD 在 512 输入下，在 VOC07+12 上实现 80.8% mAP，帧率 16.6 FPS。
• R-SSD 在 mAP 上超过传统的 SSD、YOLO、Faster-RCNN 与 RFCN，同时保持具有竞争力的速度。
• 一个跨尺度共享权重的单一分类器可以在不平衡或小样本数据集上维持具有竞争力的准确性并提升训练效率。
• 与 ISSD 相比，R-SSD 提供更高的准确性且速度下降较小，并且在相近的 mAP 水平上，相较于某些具有相似准确率的替代方法（如 Faster-RCNN、RFCN）更快。