[论文解读] Frustum ConvNet: Sliding Frustums to Aggregate Local Point-Wise Features for Amodal 3D Object Detection

Zhixin Wang, Kui Jia|arXiv (Cornell University)|Mar 5, 2019

Advanced Neural Network Applications参考文献 30被引用 162

一句话总结

Frustum ConvNet（F-ConvNet）引入滑动 frustums 来将来自二维区域提案的局部点聚合，并用 PointNet 将它们聚合为 frustum-level 特征，再与一个全卷积网络（FCN）融合，实现端到端的定向三维框估计，并在 SUN-RGBD 和 KITTI 上达到最先进的结果。

ABSTRACT

In this work, we propose a novel method termed \emph{Frustum ConvNet (F-ConvNet)} for amodal 3D object detection from point clouds. Given 2D region proposals in an RGB image, our method first generates a sequence of frustums for each region proposal, and uses the obtained frustums to group local points. F-ConvNet aggregates point-wise features as frustum-level feature vectors, and arrays these feature vectors as a feature map for use of its subsequent component of fully convolutional network (FCN), which spatially fuses frustum-level features and supports an end-to-end and continuous estimation of oriented boxes in the 3D space. We also propose component variants of F-ConvNet, including an FCN variant that extracts multi-resolution frustum features, and a refined use of F-ConvNet over a reduced 3D space. Careful ablation studies verify the efficacy of these component variants. F-ConvNet assumes no prior knowledge of the working 3D environment and is thus dataset-agnostic. We present experiments on both the indoor SUN-RGBD and outdoor KITTI datasets. F-ConvNet outperforms all existing methods on SUN-RGBD, and at the time of submission it outperforms all published works on the KITTI benchmark. Code has been made available at: {\url{https://github.com/zhixinwang/frustum-convnet}.}

研究动机与目标

• 利用二维区域提案来引导从点云进行 amodal 三维目标检测。
• 引入一系列滑动的 frustums 将局部点聚集起来，并学习 frustum-level 特征。
• 将 frustum-level 特征与一个全卷积网络结合，进行端到端的三维框估计。
• 通过多分辨率 frustum 特征和一个 refinement 策略扩展该框架。
• 在室内数据集 SUN-RGBD 和室外数据集 KITTI 上展示数据集无关的性能。

提出的方法

• 通过沿着 frustum 轴滑动，为每个 2D 区域提案生成一系列相互重叠的 frustums。
• 对每个 frustum 应用 PointNet，并使用相对坐标来获得 frustum-level 特征向量。
• 将 frustum 特征排列为一个 2D 特征图，并通过多块 FCN 处理以跨 frustums 融合特征并回归 3D 框。
• 可选地采用多分辨率 frustum 特征集成变体，以捕捉多尺度。
• 可选地通过在扩展的预测 3D 框内重运行网络来应用最终细化步骤。
• 使用多任务损失进行训练，包括带 focal loss 的分类、回归（中心与尺寸/角度偏移）以及角点损失。

实验结果

研究问题

• RQ1 滑动 frustums 是否能改善用于 amodal 三维检测的局部点特征聚合？
• RQ2 基于 FCN 的 frustum-level 特征融合是否能够实现准确的端到端定向三维框估计？
• RQ3 多分辨率的 frustum 特征和对 3D 空间的改进使用是否提升检测准确性？
• RQ4 F-ConvNet 在室内 SUN-RGBD 与室外 KITTI 数据集上的泛化能力如何？

主要发现

• F-ConvNet 在 SUN-RGBD 的 amodal 3D 目标检测上达到最先进的性能。
• 在 KITTI 上，F-ConvNet 在提交时针对评估任务超过了所有已有公开工作。
• 消融研究证实基于 frustum 的分组、基于 PointNet 的 frustum 特征、FCN 融合、多分辨率变体、focal loss 以及最终细化的有效性。
• 数据集无关的设计使得在不依赖先验环境知识的情况下也能实现有效检测。