[论文解读] Estimating Small Differences in Car-Pose from Orbits

Berkay Kicanaoglu, Ran Tao+1 more|arXiv (Cornell University)|Sep 3, 2018

3D Shape Modeling and Analysis被引用 3

一句话总结

本文提出一种基于群论的方法，通过在潜在空间中生成并比较物体视角的轨道，利用一种新颖的轨道度量来估计汽车中的微小姿态差异。通过学习通过等变、不可约表示实现的相对姿态差异，该方法在具有挑战性的姿态估计基准上实现了最先进性能，尤其在区分相近姿态和对称姿态方面表现卓越。

ABSTRACT

Distinction among nearby poses and among symmetries of an object is challenging. In this paper, we propose a unified, group-theoretic approach to tackle both. Different from existing works which directly predict absolute pose, our method measures the pose of an object relative to another pose, i.e., the pose difference. The proposed method generates the complete orbit of an object from a single view of the object with respect to the subgroup of SO(3) of rotations around the z-axis, and compares the orbit of the object with another orbit using a novel orbit metric to estimate the pose difference. The generated orbit in the latent space records all the differences in pose in the original observational space, and as a result, the method is capable of finding subtle differences in pose. We demonstrate the effectiveness of the proposed method on cars, where identifying the subtle pose differences is vital.

研究动机与目标

• 解决在物体识别中区分微小姿态差异和对称姿态的困难，尤其是在交通场景中，此类区分对安全性至关重要。
• 克服绝对姿态估计方法的局限性，这些方法无法捕捉视图之间细微的相对变化。
• 开发一个统一框架，通过基于轨道的表示将相近姿态和对称姿态的区分统一为相对差异。
• 通过在训练中利用合成数据和真实数据，减少对数据的依赖，实现鲁棒的姿态估计。
• 提升在困难情况下的性能——例如凸面、管状汽车形状——在这些情况下，传统方法因旋转对称性和细微视觉线索而表现不佳。

提出的方法

• 通过在单视图输入上绕z轴施加旋转，在潜在空间中构建一个轨道，表示物体在SO(3)旋转下的所有可能视图。
• 使用深度神经网络学习一种等变、不可约且可解释的潜在表示，以保持视图之间几何关系的一致性。
• 引入一种新颖的轨道度量，用于比较两个物体轨道，并估计它们之间的相对旋转（姿态差异）。
• 使用具有已知姿态的多个物体视图进行网络训练，从而实现单视图推理的泛化能力。
• 利用合成CAD模型和真实图像，以减少数据需求，同时保持性能。
• 通过设计网络使其在旋转下一致变换，确保等变性，从而在潜在空间中保持姿态关系。

实验结果

研究问题

• RQ1 统一的群论方法是否能有效区分物体识别中的微小姿态差异和对称姿态？
• RQ2 基于轨道的表示学习与绝对姿态回归相比，在处理细微姿态变化时表现如何？
• RQ3 单视图输入在多大程度上能生成可靠轨道，以捕捉三维空间中的所有相对姿态关系？
• RQ4 所提出的轨道度量是否能在区分相近姿态（15°–30°误差）和对置姿态（>165°误差）方面优于现有方法？
• RQ5 尽管真实数据有限，该方法在真实世界汽车图像上是否具有良好的泛化能力，特别是在对称或凸面物体情况下？

主要发现

• 在EPFL数据集上，该方法在36个姿态桶下达到54.0%的准确率，优于先前的SOTA方法，如DPM和基于Fisher的方法。
• 在PASCAL3D+汽车数据集上，该方法达到28.3%的AVP-24准确率，超过具有相似网络容量的DPM基线和CNN基线。
• 该方法在所有对比方法中记录了最低的相近视图误差率（9.6%），表明其在区分微小姿态差异方面具有卓越能力。
• 其对置视图误差率相对较低（8.9%），尽管未使用关键点标注，仍优于DPM和霍夫森林基方法。
• 可视化结果证实，潜在空间中的轨道忠实地反映了原始观测空间中的姿态变化，且等变性保持了相对姿态关系。
• 该方法能有效捕捉即使在对称或凸面汽车形状中的细微差异，而传统方法因旋转对称性而失效。