[论文解读] FFB6D: A Full Flow Bidirectional Fusion Network for 6D Pose Estimation

Yisheng He, Haibin Huang+3 more|arXiv (Cornell University)|Mar 3, 2021

Robot Manipulation and Learning参考文献 68被引用 13

一句话总结

FFB6D 提出了一种全流双向融合网络，通过单张 RGBD 图像联合学习外观与几何表征，用于 6D 物体位姿估计。通过在独立的 RGB 和深度网络的每个编码与解码层进行特征融合，并采用 SIFT-FPS 关键点选择方法，该方法在 YCB-Video、LineMOD 和遮挡 LineMOD 基准测试上实现了最先进性能，且无需后处理优化。

ABSTRACT

In this work, we present FFB6D, a Full Flow Bidirectional fusion network designed for 6D pose estimation from a single RGBD image. Our key insight is that appearance information in the RGB image and geometry information from the depth image are two complementary data sources, and it still remains unknown how to fully leverage them. Towards this end, we propose FFB6D, which learns to combine appearance and geometry information for representation learning as well as output representation selection. Specifically, at the representation learning stage, we build bidirectional fusion modules in the full flow of the two networks, where fusion is applied to each encoding and decoding layer. In this way, the two networks can leverage local and global complementary information from the other one to obtain better representations. Moreover, at the output representation stage, we designed a simple but effective 3D keypoints selection algorithm considering the texture and geometry information of objects, which simplifies keypoint localization for precise pose estimation. Experimental results show that our method outperforms the state-of-the-art by large margins on several benchmarks. Code and video are available at \url{https://github.com/ethnhe/FFB6D.git}.

研究动机与目标

• 解决在遮挡、无纹理表面和反光材料条件下 6D 物体位姿估计的挑战。
• 通过在整个网络流程中完全融合外观（RGB）与几何（深度）信息，提升表征学习能力。
• 消除对耗时后处理步骤（如 ICP 优化）的依赖。
• 开发一种鲁棒的 3D 关键点选择方法，结合纹理与几何线索，实现更优的定位性能。

提出的方法

• 提出一种全流双向融合机制，在独立的 RGB 和深度流网络的每个编码与解码层应用融合模块。
• 采用双分支架构：一个分支通过 ResNet34-PSPNet 处理由 RGB 图像，另一个分支通过 RandLA-Net 或 3D CNN 处理由 3D 点云（XYZ + 法线图）输入。
• 在每一层应用双向特征融合，实现外观与几何分支之间局部与全局表征的相互增强。
• 提出 SIFT-FPS 算法，基于纹理与几何特征选择显著的 3D 关键点，提升定位精度。
• 采用 PVN3D 风格的流程进行 6D 位姿估计，利用预测的 3D 关键点坐标及其在 2D 图像中的投影。
• 采用端到端训练，无需后处理优化，支持实时推理并实现位姿预测的联合优化。

实验结果

研究问题

• RQ1 在双流网络的每一层进行双向融合，是否能超越特征拼接或晚期融合，在 6D 位姿估计上取得更优性能？
• RQ2 外观与几何表征的联合学习，如何提升对遮挡和反光表面的鲁棒性？
• RQ3 一种结合纹理与几何信息的关键点选择策略，是否能优于仅基于距离的选择方法？
• RQ4 全流融合是否在复杂场景下优于独立处理 RGB 或深度信息的方案？
• RQ5 全端到端网络是否能在无需 ICP 或其他后处理步骤的情况下实现最先进性能？

主要发现

• 在 YCB-Video 数据集上，FFB6D 在 ADD-0.1d 指标下达到 99.7% 的平均平均精度，超越先前最先进方法。
• 在 Occlusion-LineMOD 数据集上，FFB6D 达到 66.2% 的平均 ADD-0.1d 得分，优于 PVN3D（63.2%）及其他最先进方法。
• 在 LineMOD 数据集上，FFB6D 实现 98.7% 的平均精度，显著优于 PVN3D（94.3%）和基于 DenseFusion 的方法。
• SIFT-FPS 关键点选择方法通过优先选择具有强纹理与几何结构的显著区域，提升了关键点定位精度。
• 定性结果表明，FFB6D 在处理遮挡和反光物体方面比 PVN3D 和 DenseFusion 更具鲁棒性。
• 消融实验验证，全流双向融合相比早期或晚期融合策略，性能更优。