[论文解读] Exploring the Applications of Faster R-CNN and Single-Shot Multi-box Detection in a Smart Nursery Domain

Somnuk Phon-Amnuaisuk, Ken T. Murata+3 more|arXiv (Cornell University)|Aug 27, 2018

Advanced Neural Network Applications参考文献 15被引用 10

一句话总结

本文使用YouTube视频数据评估了Faster R-CNN和SSD在智能育儿应用中婴儿检测的性能。结果表明，Faster R-CNN在检测精度上达到97.5%，定位效果更优；而SSD推理速度更快，但存在较多重叠的边界框，凸显了实际部署中的权衡。

ABSTRACT

The ultimate goal of a baby detection task concerns detecting the presence of a baby and other objects in a sequence of 2D images, tracking them and understanding the semantic contents of the scene. Recent advances in deep learning and computer vision offer various powerful tools in general object detection and can be applied to a baby detection task. In this paper, the Faster Region-based Convolutional Neural Network and the Single-Shot Multi-Box Detection approaches are explored. They are the two state-of-the-art object detectors based on the region proposal tactic and the multi-box tactic. The presence of a baby in the scene obtained from these detectors, tested using different pre-trained models, are discussed. This study is important since the behaviors of these detectors in a baby detection task using different pre-trained models are still not well understood. This exploratory study reveals many useful insights into the applications of these object detectors in the smart nursery domain.

研究动机与目标

• 评估最先进的目标检测器——Faster R-CNN和SSD——在真实育儿视频画面中检测婴儿的性能。
• 分析TensorFlow检测模型动物园中不同预训练模型对检测准确率和定位质量的影响。
• 识别将目标检测与更高阶任务（如活动识别和场景理解）衔接时面临的问题，特别是在智能育儿系统中。
• 提供关于检测器在真实世界变化（如光照、遮挡和尺度变化）下行为的实证洞察。

提出的方法

• 使用来自TensorFlow检测模型动物园的预训练模型，对YouTube视频中的2D图像帧进行婴儿检测，采用Faster R-CNN和SSD方法。
• 在SSD中应用非极大值抑制（NMS）以减少冗余边界框，而Faster R-CNN则依赖区域建议网络（RPNs）生成候选区域。
• 通过边界框重叠、分类准确率和定位质量等指标，在自建的育儿场景数据集上评估检测性能。
• 通过探索基于知识的框架和编码器-解码器框架，分析检测与场景理解之间的差距，以生成语义场景描述。
• 探索利用时间连续性约束和集成学习方法的未来扩展，以提升检测的稳定性和准确性。
• 使用方向梯度光流直方图（HOOF）作为基线方法，用于活动识别，以评估端到端流水线的集成潜力。

实验结果

研究问题

• RQ1 在真实世界的视觉变化（如光照、遮挡和尺度变化）下，Faster R-CNN和SSD在婴儿检测方面的表现如何？
• RQ2 在智能育儿监控背景下，Faster R-CNN与SSD在检测准确率与推理速度之间存在何种权衡？
• RQ3 边界框的质量与重叠程度在多大程度上影响后续任务（如跟踪和活动识别）？
• RQ4 在婴儿监控场景中，将目标检测扩展至完整场景理解的主要局限性是什么？
• RQ5 如何通过集成学习和时间约束提升视频序列中检测的可靠性？

主要发现

• Faster R-CNN在该数据集上实现了97.5%的最高检测准确率，显著优于SSD的86.1%准确率。
• SSD由于依赖NMS进行抑制，产生了更多重叠的边界框，尤其在存在多个婴儿实例的区域更为明显。
• 与SSD相比，Faster R-CNN生成的边界框更精确且重叠更少，而SSD产生了大量冗余检测。
• 本研究发现，仅靠准确检测不足以支持活动识别，还需额外引入ID跟踪和运动描述符的集成。
• 检测与场景理解之间的差距仍然显著，基于知识的框架和编码器-解码器框架分别提供了两种不同但均不完整的路径。
• 通过集成学习和时间连续性约束，未来有望提升检测在视频帧之间的稳定性。