[论文解读] SymmetryNet: Learning to Predict Reflectional and Rotational Symmetries of 3D Shapes from Single-View RGB-D Images

Yifei Shi, Junwen Huang+4 more|arXiv (Cornell University)|Aug 2, 2020

Optical measurement and interference techniques参考文献 53被引用 10

一句话总结

SymmetryNet 提出了一种端到端的深度学习框架，通过多任务学习联合预测单视角 RGB-D 图像中 3D 形状的反射对称性和旋转对称性，从而实现对称轴和对称点对应关系的联合预测。该方法通过为对应点预测提供统一的监督信号并采用可见性感知聚合策略，在未见形状上实现了高精度和强泛化能力，即使在遮挡和多重对称条件下也表现优异。

ABSTRACT

We study the problem of symmetry detection of 3D shapes from single-view RGB-D images, where severely missing data renders geometric detection approach infeasible. We propose an end-to-end deep neural network which is able to predict both reflectional and rotational symmetries of 3D objects present in the input RGB-D image. Directly training a deep model for symmetry prediction, however, can quickly run into the issue of overfitting. We adopt a multi-task learning approach. Aside from symmetry axis prediction, our network is also trained to predict symmetry correspondences. In particular, given the 3D points present in the RGB-D image, our network outputs for each 3D point its symmetric counterpart corresponding to a specific predicted symmetry. In addition, our network is able to detect for a given shape multiple symmetries of different types. We also contribute a benchmark of 3D symmetry detection based on single-view RGB-D images. Extensive evaluation on the benchmark demonstrates the strong generalization ability of our method, in terms of high accuracy of both symmetry axis prediction and counterpart estimation. In particular, our method is robust in handling unseen object instances with large variation in shape, multi-symmetry composition, as well as novel object categories.

研究动机与目标

• 解决从单视角 RGB-D 图像中检测部分观测、遮挡的 3D 形状对称性的问题，因为几何方法在数据缺失时会失效。
• 开发一种数据驱动的深度学习方法，使其在不同物体类别、形状变化和多重对称组合下具有泛化能力。
• 通过联合学习对称轴预测和对称点对应关系估计，提升对称性检测的鲁棒性。
• 构建一个用于单视角 RGB-D 对称性检测的基准数据集，以支持标准化评估。
• 支持下游应用，如 6D 物体位姿估计和对称感知的 RGB-D 分割。

提出的方法

• 网络以 RGB 图像和深度图像作为输入，通过共享主干网络提取点级别的外观特征和几何特征。
• 通过多任务学习，同时预测每个点云中 3D 点的对称轴（反射对称和旋转对称）以及对称对应关系。
• 对于对应关系预测，网络输出一个热力图，表示每个点作为对称对应点的可能性，并直接回归对应点的 3D 坐标。
• 基于真实对应点位置的统一监督信号，将两个任务相关联，以减少过拟合。
• 通过最优分配模块从多个候选对称中选择最佳集合，支持检测任意数量、混合类型的对称性。
• 基于可见性的验证机制，根据遮挡和视场约束过滤掉无效预测。

实验结果

研究问题

• RQ1 深度学习模型能否在数据不完整的情况下，有效检测单视角 RGB-D 图像中 3D 形状的反射对称性和旋转对称性？
• RQ2 通过联合预测对称对应关系的多任务学习，如何提升对称性检测的泛化能力并减少过拟合？
• RQ3 当对称性部分被遮挡时，模型能否在同一物体中检测到不同类型（如反射和旋转）的多个对称性？
• RQ4 该方法在未见物体类别和训练数据中未出现的形状变化下表现如何？
• RQ5 对称性预测在多大程度上能提升下游任务（如 6D 物体位姿估计和 RGB-D 分割）的性能？

主要发现

• 该方法在形状变化较大且观测不完整的情况下，仍能实现高精度的对称轴预测和对称对应点估计。
• SymmetryNet 在未见物体类别和新实例上表现出良好的泛化能力，在真实世界和合成场景中均展现出强鲁棒性。
• 与直接预测对称性相比，采用对称轴与对应关系联合预测的多任务学习设置显著减少了过拟合。
• 对称性预测的引入提升了 DenseFusion 中 6D 物体位姿估计的性能，证明了其在实际应用中的实用性。
• 模型通过将点级别的对称性标签投影到输入图像，实现了无需训练时分割标签的对称性驱动 RGB-D 分割。
• 定性对比显示，SymmetryNet 在复杂或遮挡形状上优于先前方法，包括几何拟合、RGB-D 检索、PRS-Net 和形状补全基线方法。