[论文解读] Deep Bingham Networks: Dealing with Uncertainty and Ambiguity in Pose Estimation

Haowen Deng, Mai Bui+4 more|arXiv (Cornell University)|Dec 20, 2020

Human Pose and Action Recognition被引用 6

一句话总结

本文提出深度拜纳网络（DBN），一种深度学习框架，通过在四元数上使用拜纳混合模型将6D位姿估计建模为多模态分布，从而在存在不确定性的模糊场景中实现对不确定性的感知预测，适用于对称或重复结构的场景。该方法通过引入新颖的训练策略，防止模式坍塌并提升数值稳定性，在6D相机重定位和3D物体位姿估计任务中均取得当前最优性能。

ABSTRACT

In this work, we introduce Deep Bingham Networks (DBN), a generic framework that can naturally handle pose-related uncertainties and ambiguities arising in almost all real life applications concerning 3D data. While existing works strive to find a single solution to the pose estimation problem, we make peace with the ambiguities causing high uncertainty around which solutions to identify as the best. Instead, we report a family of poses which capture the nature of the solution space. DBN extends the state of the art direct pose regression networks by (i) a multi-hypotheses prediction head which can yield different distribution modes; and (ii) novel loss functions that benefit from Bingham distributions on rotations. This way, DBN can work both in unambiguous cases providing uncertainty information, and in ambiguous scenes where an uncertainty per mode is desired. On a technical front, our network regresses continuous Bingham mixture models and is applicable to both 2D data such as images and to 3D data such as point clouds. We proposed new training strategies so as to avoid mode or posterior collapse during training and to improve numerical stability. Our methods are thoroughly tested on two different applications exploiting two different modalities: (i) 6D camera relocalization from images; and (ii) object pose estimation from 3D point clouds, demonstrating decent advantages over the state of the art. For the former we contributed our own dataset composed of five indoor scenes where it is unavoidable to capture images corresponding to views that are hard to uniquely identify. For the latter we achieve the top results especially for symmetric objects of ModelNet dataset.

研究动机与目标

• 解决在具有对称或重复结构的现实模糊场景中，单解位姿估计方法的局限性。
• 不仅对单一预测结果，也对模糊情况下的多个合理假设，建模位姿不确定性。
• 开发一种深度学习框架，对旋转回归连续的拜纳混合模型，对平移回归高斯混合模型。
• 通过一种新颖的WTA（赢家通吃）训练策略，防止多模态位姿预测中的模式坍塌并提升训练稳定性。
• 在2D图像基相机重定位和3D点云基物体位姿估计任务中均展示优越性能。

提出的方法

• 提出单模态拜纳网络（UBN），通过在四元数上回归单个拜纳分布，建模旋转不确定性。
• 将UBN扩展为多模态拜纳网络（MBN），通过回归各向异性的拜纳分布混合模型，捕捉多个合理的位姿。
• 使用高斯混合模型（GMM）建模平移，将不确定性关联到平移分量。
• 提出一种新颖的WTA（赢家通吃）损失策略，以稳定训练并防止拜纳混合模型中的模式坍塌。
• 分别使用测地线损失和L1损失优化旋转与平移预测，以提升在旋转的黎曼流形上的优化性能。
• 利用Zhou等人提出的6D旋转连续表示，避免SO(3)映射中的不连续性。

实验结果

研究问题

• RQ1 深度神经网络能否有效建模多模态位姿分布，以捕捉3D位姿估计中的模糊性？
• RQ2 如何对单个和多个位姿假设的不确定性进行有意义的量化与回归？
• RQ3 新颖的训练目标能否防止使用拜纳分布进行旋转估计时，混合模型中的模式坍塌？
• RQ4 所提出的框架是否在无模糊与有模糊的位姿估计场景中均优于当前最先进方法？
• RQ5 该框架能否在不同模态（如2D图像与3D点云）间实现良好泛化？

主要发现

• 所提出的MBN模型在6D相机重定位任务中达到当前最优性能，在作者自建的模糊室内数据集上，20°/0.3m阈值下的成功率达到0.56。
• 在ModelNet10数据集上的3D物体位姿估计任务中，MBN的平均平移误差为1.079，优于MDN（1.140）和MC-Dropout（2.192）。
• 在MBN中引入WTA损失后，性能显著优于标准MDN训练方式，平均误差降低10%。
• 该框架能成功建模单模态与多模态位姿分布，可在模糊场景中对每个模式报告不确定性。
• 该方法在不同模态间具有良好的泛化能力，在基于图像的重定位与基于点云的物体位姿估计任务中均表现优异。
• 使用6D旋转表示与拜纳混合模型，实现了无SO(3)不连续性的稳定连续优化。