[论文解读] Learning to detect and localize many objects from few examples

Bastien Moysset, Christopher Kermorvant+1 more|arXiv (Cornell University)|Nov 17, 2016

Advanced Image and Video Retrieval Techniques参考文献 27被引用 6

一句话总结

本文提出了一种完全卷积的物体检测模型，通过使用空间2D-LSTM层捕捉全局上下文信息，同时通过局部化、共享的预测实现低参数量。该方法在少样本、高物体密度的任务（如文档图像中的文本检测）中优于YOLO和Multibox等最先进方法，在不进行输入缩放的情况下实现了更高的召回率和F1值。

ABSTRACT

The current trend in object detection and localization is to learn predictions with high capacity deep neural networks trained on a very large amount of annotated data and using a high amount of processing power. In this work, we propose a new neural model which directly predicts bounding box coordinates. The particularity of our contribution lies in the local computations of predictions with a new form of local parameter sharing which keeps the overall amount of trainable parameters low. Key components of the model are spatial 2D-LSTM recurrent layers which convey contextual information between the regions of the image. We show that this model is more powerful than the state of the art in applications where training data is not as abundant as in the classical configuration of natural images and Imagenet/Pascal VOC tasks. We particularly target the detection of text in document images, but our method is not limited to this setting. The proposed model also facilitates the detection of many objects in a single image and can deal with inputs of variable sizes without resizing.

研究动机与目标

• 解决在仅有少量标注样本的情况下，从图像中检测和定位大量小物体的挑战。
• 克服现有单阶段检测器（如YOLO和Multibox）在训练数据有限的高物体密度场景下的局限性。
• 实现在无需缩放输入尺寸的可变尺寸输入上端到端训练，提升真实世界文档图像分析的灵活性。
• 通过2D-LSTM层利用空间上下文信息，在不增加模型容量的前提下提升低数据场景下的检测召回率。
• 开发一种参数高效的架构，在保持高空间参数共享的同时，实现边界框坐标值的直接回归。

提出的方法

• 使用1×1卷积层作为输出头，实现在特征图上空间共享、局部化的预测。
• 在卷积块之间引入2D-LSTM层，以聚合全局上下文信息，提升跨空间区域的特征表示能力。
• 采用直接回归相对边界框坐标值的方法，避免生成区域建议，降低模型复杂度。
• 在每次优化步骤前应用全局匹配策略，将预测结果分配给真实边界框，即使多个物体落在同一空间单元内也适用。
• 采用全卷积设计，支持无需缩放的可变输入尺寸，保留空间分辨率和物体细节。
• 由于当时主流深度学习库缺乏原生2D-LSTM支持，因此在自定义C++框架中实现该模型。

实验结果

研究问题

• RQ1 具有空间共享输出头的全卷积物体检测器是否能在低数据场景下实现高性能？
• RQ2 引入2D-LSTM层以获取全局上下文信息，相较于标准卷积或全连接头，能否显著提升对小物体或重叠物体的检测性能？
• RQ3 在训练数据有限的情况下，该模型在检测大量小物体方面是否显著优于YOLO和Multibox？
• RQ4 该模型是否能够处理可变尺寸输入而无需缩放？这种设计是否有助于保持检测精度？
• RQ5 由于省略了区域建议生成步骤并采用直接回归，是否能在高物体密度场景下带来更高的召回率？

主要发现

• 在Maurdor数据集上，所提模型显著优于YOLO和Multibox，在文本检测任务中实现了更高的平均精度和F1值。
• 引入2D-LSTM层后，所有指标的检测性能均得到提升，其中召回率提升最为显著，尤其在小尺寸和重叠文本区域表现突出。
• 该模型在法语和英语文档图像上的全页文本识别任务中，F-Measure Bag of Words得分均超过70%，优于所有基线方法。
• YOLO在文档文本检测任务中未能实现有意义的收敛，主要因其每个单元仅预测一个目标的约束，不适用于高密度物体场景。
• 尽管经过超参数调优，Multibox仍表现欠佳，主要原因是输出位置之间缺乏参数共享，导致学习效率低下。
• 该模型成功检测到超出单个预测头感受野范围的物体，证明了2D-LSTM上下文聚合的有效性。