[论文解读] Geometry-Aware Recurrent Neural Networks for Active Visual Recognition

Ricson Cheng, Ziyan Wang+1 more|arXiv (Cornell University)|Nov 3, 2018

Advanced Vision and Imaging被引用 16

一句话总结

本文提出一种几何感知的循环神经网络用于主动视觉识别，通过策略网络基于三维场景重建和遮挡推理选择最优相机视角。通过将二维与三维卷积结合GRU记忆模块，该模型在基线方法上将3D IoU提升最高达25%，通过智能轨迹规划主动减少遮挡，显著优于固定和随机视角策略。

ABSTRACT

We present recurrent geometry-aware neural networks that integrate visual information across multiple views of a scene into 3D latent feature tensors, while maintaining an one-to-one mapping between 3D physical locations in the world scene and latent feature locations. Object detection, object segmentation, and 3D reconstruction is then carried out directly using the constructed 3D feature memory, as opposed to any of the input 2D images. The proposed models are equipped with differentiable egomotion-aware feature warping and (learned) depth-aware unprojection operations to achieve geometrically consistent mapping between the features in the input frame and the constructed latent model of the scene. We empirically show the proposed model generalizes much better than geometryunaware LSTM/GRU networks, especially under the presence of multiple objects and cross-object occlusions. Combined with active view selection policies, our model learns to select informative viewpoints to integrate information from by "undoing" cross-object occlusions, seamlessly combining geometry with learning from experience.

研究动机与目标

• 通过主动选择最优相机视角而非依赖固定或随机轨迹来提升3D视觉识别性能。
• 利用循环架构建模场景几何与遮挡动态，保持对过往观测的记忆。
• 通过序列决策学习策略，最小化视角依赖的遮挡，从而提升3D重建精度。
• 将多模态输入——RGB、深度图与相机位姿——整合到统一的3D重建与分割框架中。
• 在3D IoU与分割质量方面，相比基于LSTM的基线方法与非主动策略，展现出更优性能。

提出的方法

• 策略网络在RGB图像上使用二维卷积，在特征体素上使用三维卷积，提取用于视角选择的时空特征。
• 基于GRU的记忆模块维护隐藏状态，聚合跨视角的特征，实现对场景几何的序列推理。
• 通过在拼接特征上使用多层感知机，策略网络输出对8种可能相机运动方向的类别分布。
• 采用带有跳跃连接的3D U-Net架构进行端到端3D重建，使用Sigmoid交叉熵损失进行训练。
• 通过在逆深度上使用L2损失、在掩码上使用二元交叉熵损失，利用2D U-Net完成深度与掩码估计。
• 系统通过融合模块将RGB、深度与相机位姿特征结合，再输入至基于LSTM的聚合器与3D解码器。

实验结果

研究问题

• RQ1 循环策略网络能否通过基于场景几何与遮挡的主动视角选择，提升3D重建性能？
• RQ2 三维特征记忆与二维视觉输入的融合如何影响视角选择性能？
• RQ3 在3D IoU与重建质量方面，主动视角选择是否优于固定、随机或单向轨迹策略？
• RQ4 通过智能轨迹规划，该模型在多大程度上减轻了遮挡的影响？
• RQ5 该方法在复杂场景（包括多物体与室内环境）中泛化能力如何？

主要发现

• 所提出的主动策略在3D IoU上相比单视角预测实现25%的相对提升，显著优于固定与随机视角策略。
• 通过选择能“恢复”先前被遮挡区域的轨迹，模型有效降低了遮挡影响，图2与图3的可视化结果证实了这一点。
• 在多物体场景中，与LSTM基线相比，主动策略使平均IoU提升18%。
• 3D U-Net重建模型生成高保真度的体素预测，图4的定性结果表明结构一致性与细节表现更优。
• 图5中的3D分割结果表明，该方法能生成准确的实例级预测，与真实标签高度一致。
• 在SUNCG数据集子场景上，模型泛化能力良好，如图6所示，生成了连贯且细节丰富的3D重建。