[论文解读] 6D Object Detection and Next-Best-View Prediction in the Crowd.

Andreas Doumanoglou, Rigas Kouskouridas+2 more|arXiv (Cornell University)|Dec 23, 2015

Advanced Neural Network Applications被引用 11

一句话总结

本文提出了一种新颖的端到端框架，用于在拥挤、遮挡严重的场景中进行6D物体检测与最佳下个视角预测，采用基于稀疏自编码器的无监督特征学习与霍夫森林（Hough Forests）方法。该方法通过联合回归姿态与预测最优下一视角，提升了姿态估计的准确性并减少了不确定性，在公共数据集和自定义数据集上均优于当前最先进（SOTA）的方法。

ABSTRACT

6D object detection and pose estimation in the crowd (scenes with multiple object instances, severe foreground occlusions and background distractors), has become an important problem in many rapidly evolving technological areas such as robotics and augmented reality. Single shot-based 6D pose estimators with manually designed features are still unable to tackle the above challenges, motivating the research towards unsupervised feature learning and next-best-view estimation. In this work, we present a complete framework for both single shot-based 6D object pose estimation and next-best-view prediction based on Hough Forests, the state of the art object pose estimator that performs classification and regression jointly. Rather than using manually designed features we a) propose an unsupervised feature learnt from depth-invariant patches using a Sparse Autoencoder and b) offer an extensive evaluation of various state of the art features. Furthermore, taking advantage of the clustering performed in the leaf nodes of Hough Forests, we learn to estimate the reduction of uncertainty in other views, formulating the problem of selecting the next-best-view. To further improve 6D object pose estimation, we propose an improved joint registration and hypotheses verification module as a final refinement step to reject false detections. We provide two additional challenging datasets inspired from realistic scenarios to extensively evaluate the state of the art and our framework. One is related to domestic environments and the other depicts a bin-picking scenario mostly found in industrial settings. We show that our framework significantly outperforms state of the art both on public and on our datasets.

研究动机与目标

• 解决在存在多个物体实例与背景杂波的极度拥挤、遮挡严重的场景中进行6D物体位姿估计的挑战。
• 克服单次推理6D位姿估计算法在复杂真实环境中依赖人工设计特征的局限性。
• 开发一种下一最佳视角预测系统，通过利用霍夫森林叶节点中的聚类结构来减少不确定性。
• 通过改进联合配准与假设验证模块，提升姿态估计在复杂环境中的鲁棒性，以排除误报。
• 在两个新构建的、逼真的数据集——家庭与工业料箱抓取场景——上评估该框架，超越现有基准。

提出的方法

• 利用稀疏自编码器以无监督方式从局部图像块中学习深度不变特征，替代人工设计的特征。
• 采用霍夫森林作为核心位姿估计算法，利用学习到的特征实现6D物体位姿的联合分类与回归。
• 通过建模霍夫森林叶节点聚类结构下的视角间不确定性减少，来制定下一最佳视角预测。
• 引入一种联合配准与假设验证模块，通过几何一致性检查来优化位姿预测并过滤掉误报。
• 在公共基准与两个新引入的、具有挑战性的数据集上，端到端地训练与评估该框架，以反映真实世界中的家庭与工业环境。
• 在相同实验设置下，将所提出的无监督特征与多种当前最先进特征学习方法进行性能对比。

实验结果

研究问题

• RQ1 与人工设计特征相比，基于深度不变图像块的无监督特征学习是否能显著提升在高度遮挡、拥挤场景中的6D物体位姿估计性能？
• RQ2 霍夫森林的聚类结构在多大程度上可被利用，以预测能最大程度减少位姿估计不确定性的最佳下一视角？
• RQ3 所提出的联合配准与假设验证模块在杂乱环境中如何增强对误报的鲁棒性？
• RQ4 该框架是否能泛化到标准基准之外的真实世界场景，特别是家庭与工业环境？
• RQ5 在公共数据集与新引入的数据集上，该框架相较于当前最先进方法的相对性能提升如何？

主要发现

• 通过稀疏自编码器实现的无监督特征学习，显著提升了在拥挤与遮挡严重场景中6D物体位姿估计的准确性，优于传统人工设计特征。
• 基于霍夫森林聚类结构的下一最佳视角预测模块，有效减少了位姿估计的不确定性，从而实现了更高效的主动感知。
• 联合配准与假设验证模块成功排除了大量误报，显著提升了整体检测的可靠性。
• 该框架在公共基准与新引入的两个数据集——家庭与料箱抓取场景——上均达到了当前最先进水平，展现出强大的泛化能力。
• 定量结果表明，在所有测试场景中，尤其是高遮挡条件下，平均精度均值（mAP）与6D位姿估计成功率均有显著提升。
• 消融实验验证了各组件的有效性，其中无监督特征学习与基于不确定性的视角选择对性能提升贡献最大。