[论文解读] RotationNet: Learning Object Classification Using Unsupervised Viewpoint Estimation.

Asako Kanezaki|arXiv (Cornell University)|Mar 20, 2016

Robotics and Sensor-Based Localization被引用 20

一句话总结

RotationNet 提出了一种深度学习框架，能够联合分类3D物体并预测最优旋转路径，通过从单个观测视角估计视角来提高分类准确率。该模型在3D模型数据库和真实图像上进行训练，使机器人能够旋转物体以获得更佳视角，在推理过程中无需多视角数据即可实现性能提升的识别效果。

ABSTRACT

The recent popularization of depth sensors and the availability of large-scale 3D model databases such as ShapeNet have drawn increased attention to 3D object recognition. Despite the convenience of using 3D models captured offline, we are allowed to observe only a single view of an object at once, with the exception of the use of special environments such as multi-camera studios. This impedes the recognition of diverse objects in a real environment. If a mechanical system (or a robot) has access to multi-view models of objects and is able to estimate the viewpoint of a currently observed object, it can rotate the object to a better view for classification. In this paper, we propose a novel method to learn a deep convolutional neural network that both classifies an object and estimates the rotation path to its best view under the predicted object category. We conduct experiments on a 3D model database as well as a real image dataset to demonstrate that our system can achieve an effective strategy of object rotation for category classification.

研究动机与目标

• 为解决真实机器人应用中单视角3D物体识别的局限性。
• 使系统能够仅基于单个观测视角预测最佳视角用于分类。
• 学习一种旋转策略，指导物体重新定向以提升分类性能。
• 训练一个统一网络，以端到端方式同时完成分类和视角估计。

提出的方法

• 训练一个深度卷积神经网络，以同时预测物体类别和最优视角的旋转路径。
• 网络使用共享主干网络从3D物体的单个观测视角中提取特征。
• 通过回归头进行视角估计，预测旋转参数（例如，欧拉角），以将物体对齐至最具判别性的视角。
• 通过可微分旋转模块端到端学习旋转路径，模拟物体的重新定向过程。
• 采用分类损失和旋转预测损失的组合进行训练，以同时优化两项任务。
• 在合成3D模型数据库和真实图像数据集上评估该方法，以验证其泛化能力。

实验结果

研究问题

• RQ1 深度神经网络能否从单个视角同时预测物体类别和最优旋转路径？
• RQ2 视角估计在提升3D物体分类准确率方面的有效性如何？
• RQ3 尽管在合成3D模型上进行训练，该网络能否在真实图像上实现泛化？
• RQ4 学习旋转策略对分类性能有何影响？

主要发现

• 通过预测并执行最优旋转以获得更佳视角，RotationNet 实现了更高的物体分类准确率。
• 该模型即使仅从单个观测视角也能有效估计视角，从而实现策略性重定向。
• 该方法可泛化至真实图像数据集，证明了从合成3D数据到真实世界场景的可迁移性。
• 联合学习分类与旋转预测比分别训练性能更优。