[论文解读] Monocular Object Orientation Estimation using Riemannian Regression and Classification Networks

Siddharth Mahendran, Ming Y. Lu+2 more|arXiv (Cornell University)|Jul 18, 2018

Robotics and Sensor-Based Localization被引用 5

一句话总结

该论文提出了一种基于CNN的新型单目3D方向估计方法，通过测地线损失函数和轴角/四元数表示，利用旋转空间的黎曼几何特性，结合回归与分类以提升精度——在使用检测到的边界框时，于PASCAL3D+数据集上实现了AVP度量下27.5°的中位数误差，达到当前最先进性能。

ABSTRACT

We consider the task of estimating the 3D orientation of an object of known category given an image of the object and a bounding box around it. Recently, CNN-based regression and classification methods have shown significant performance improvements for this task. This paper proposes a new CNN-based approach to monocular orientation estimation that advances the state of the art in four different directions. First, we take into account the Riemannian structure of the orientation space when designing regression losses and nonlinear activation functions. Second, we propose a mixed Riemannian regression and classification framework that better handles the challenging case of nearly symmetric objects. Third, we propose a data augmentation strategy that is specifically designed to capture changes in 3D orientation. Fourth, our approach leads to state-of-the-art results on the PASCAL3D+ dataset.

研究动机与目标

• 解决现有单目3D方向估计方法忽略旋转空间黎曼结构的问题。
• 通过在几何一致框架中结合回归与分类，提升对对称及具有挑战性的物体类别的性能。
• 设计一种数据增强策略，捕捉3D方向变化，超越传统的2D图像抖动方法。
• 开发基于SO(3)上测地线距离的损失函数，更准确反映旋转空间的真实几何特性。
• 在标准评估协议下，于PASCAL3D+基准上实现最先进性能。

提出的方法

• 使用轴角或四元数表示作为网络输出，以保持旋转空间的内在几何特性。
• 引入基于测地线距离的损失函数，沿旋转流形测量角度差异，替代欧氏距离或二值化损失。
• 提出一种混合黎曼回归与分类框架，通过预测多个方向假设及其置信度分数，有效处理对称物体。
• 设计一种新颖的3D感知数据增强策略，模拟训练期间真实的3D方向变化，提升泛化能力。
• 采用端到端训练方式，结合测地线回归与分类组件的联合损失函数。
• 在使用目标检测器生成的检测边界框下，以AVP（平均mAP）度量评估方法，确保实际应用可行性。

实验结果

研究问题

• RQ1 如何在深度学习中有效融入旋转空间的黎曼几何以实现3D方向估计？
• RQ2 与纯回归或分类方法相比，混合回归-分类框架是否能在对称物体上提升性能？
• RQ3 3D感知数据增强是否能带来更好的泛化能力与鲁棒性？
• RQ4 基于测地线距离的损失函数是否能在此任务中超越标准的欧氏距离或交叉熵损失？
• RQ5 在真实检测设置下，该方法在PASCAL3D+等标准基准上的性能提升如何？

主要发现

• 所提方法在使用检测边界框的PASCAL3D+数据集上实现了27.5°的中位数姿态误差，优于先前最先进方法。
• 在4个bin时AVP为49.9%，8个bin时为42.5%，16个bin时为32.0%，24个bin时为26.3%，在所有分箱级别均表现出色。
• 在AVP指标上显著优于V&K、R4CNN和Massa，尤其在高分箱数量下优势明显，且未使用任何方位角监督信号。
• 采用测地线损失与黎曼表示可生成更精确且几何一致的方向预测，优于使用欧拉角或欧氏距离的方法。
• 混合回归-分类框架通过预测多个方向假设及其置信度，有效处理对称物体，降低模糊情况下的误差。
• 3D感知数据增强策略显著提升泛化能力，表现为所有物体类别中性能一致提升。