[论文解读] Visual-Inertial-Semantic Scene Representation for 3-D Object Detection

Jingming Dong, Xiaohan Fei+1 more|arXiv (Cornell University)|Jun 13, 2016

Robotics and Sensor-Based Localization参考文献 70被引用 6

一句话总结

该论文提出了一种实时、因果的3D目标检测系统，通过递归贝叶斯框架融合视觉、惯性及语义数据。通过结合基于SLAM的几何表示与CNN进行似然估计，并利用惯性传感器提供特定类别的尺度与姿态先验，该系统实现了持续的目标跟踪、遮挡推理与重检测，从而在自动驾驶和机器人等动态环境中实现鲁棒的3D场景理解。

ABSTRACT

We describe a system to detect objects in three-dimensional space using video and inertial sensors (accelerometer and gyrometer), ubiquitous in modern mobile platforms from phones to drones. Inertials afford the ability to impose class-specific scale priors for objects, and provide a global orientation reference. A minimal sufficient representation, the posterior of semantic (identity) and syntactic (pose) attributes of objects in space, can be decomposed into a geometric term, which can be maintained by a localization-and-mapping filter, and a likelihood function, which can be approximated by a discriminatively-trained convolutional neural network. The resulting system can process the video stream causally in real time, and provides a representation of objects in the scene that is persistent: Confidence in the presence of objects grows with evidence, and objects previously seen are kept in memory even when temporarily occluded, with their return into view automatically predicted to prime re-detection.

研究动机与目标

• 设计一种将物体视为物理空间中持久实体而非仅图像实例的3D目标检测器，以解决传统基于图像的检测器的局限性。
• 通过在长时间内维持物体存在的置信度，即使在遮挡期间也保持对物体的记忆，并基于场景几何预测重新出现，实现长期物体记忆。
• 利用惯性传感器提供全局尺度与姿态先验，提升在非重力对齐环境（如无人机和移动机器人）中的检测鲁棒性。
• 将基于深度学习的检测与递归贝叶斯推理相结合，为3D空间中物体属性的最小充分不变表示提供支持。
• 使用现成组件（包括预训练CNN和基于EKF的SLAM）实现实时性能，使系统可部署于移动平台。

提出的方法

• 系统将物体属性（语义身份与句法位姿）的后验分布建模为最小充分不变统计量，将其分解为由SLAM维护的几何项与由CNN计算的似然项。
• 采用扩展卡尔曼滤波器执行递归贝叶斯更新，其中CNN从单张图像评估物体存在的似然，滤波器则随时间传播状态。
• 利用惯性测量数据施加类别特定的尺度先验，并提供全局方向参考，降低3D目标检测中的歧义性。
• 通过将3D物体状态投影到当前图像平面并评估似然得分，预测物体可见性与遮挡情况，遮挡物体被标记为非活跃但被保留记忆。
• 系统采用混合卡尔曼滤波器处理多个物体假设，并通过将新证据与先前存储的物体状态匹配实现重检测。
• 一旦检测到物体，即在估计的3D位姿处渲染CAD模型，提供持久的3D表示，支持导航与场景理解。

实验结果

研究问题

• RQ1 如何设计3D目标检测器，使其能基于累积证据与场景几何，在遮挡期间仍保持对物体的持续感知？
• RQ2 惯性传感器在提供尺度与姿态先验方面可发挥何种作用，特别是在非重力对齐环境中提升3D目标检测性能？
• RQ3 基于深度学习的检测与递归贝叶斯推理的融合，能否实现具有长期记忆与可见性预测能力的实时、因果3D目标检测？
• RQ4 如何在3D空间中定义并维持物体属性的最小充分不变表示，以支持鲁棒且高效的推理？
• RQ5 基础3D形状模型（如边界框）在复杂场景中对可见性预测与重检测的支持程度如何？

主要发现

• 系统使用现成组件（包括预训练CNN与基于EKF的SLAM）实现了每秒10至30帧的实时性能，使移动平台部署成为可能。
• 物体在遮挡期间仍能持续跟踪：置信度随证据积累而提升，当物体重新出现时，系统自动启动重检测，如KITTI-00序列所示。
• 惯性传感器支持类别特定的尺度先验，减少了自底向上提议带来的误报，并提升了在非重力对齐场景下的检测准确性。
• 系统成功预测了遮挡后的物体重新出现，如在室内序列中椅子从显示器后重新出现，以及在大规模驾驶序列中，侧道车辆穿过墙壁后仍被持续追踪。
• 可见性预测有效：当前不可见的物体以虚线框显示，并附带被丢弃的似然得分，证实了系统对遮挡的推理能力。
• 将基于CNN的检测与递归贝叶斯滤波相结合，实现了持久、具备记忆增强的物体表示，避免了闪烁现象，并支持长期场景理解。