[논문 리뷰] RotationNet: Learning Object Classification Using Unsupervised Viewpoint Estimation.

Asako Kanezaki|arXiv (Cornell University)|2016. 03. 20.

Robotics and Sensor-Based Localization인용 수 20

한 줄 요약

RotationNet는 단일 관측 시점에서 시점(시야)를 추정하여 분류 정확도를 햖을 3차원 물체의 분류를 동시에 수행하고 최적의 회전 경로를 예측하는 딥러닝 프레임워크를 제안한다. 3차원 모델 데이터베이스와 실제 이미지로 훈련된 이 모델은 로봇이 물체를 더 나은 시점으로 회전시켜 인식 성능을 향상시킬 수 있도록 하며, 추론 시 다중 시점 데이터가 필요로 하지 않는다.

ABSTRACT

The recent popularization of depth sensors and the availability of large-scale 3D model databases such as ShapeNet have drawn increased attention to 3D object recognition. Despite the convenience of using 3D models captured offline, we are allowed to observe only a single view of an object at once, with the exception of the use of special environments such as multi-camera studios. This impedes the recognition of diverse objects in a real environment. If a mechanical system (or a robot) has access to multi-view models of objects and is able to estimate the viewpoint of a currently observed object, it can rotate the object to a better view for classification. In this paper, we propose a novel method to learn a deep convolutional neural network that both classifies an object and estimates the rotation path to its best view under the predicted object category. We conduct experiments on a 3D model database as well as a real image dataset to demonstrate that our system can achieve an effective strategy of object rotation for category classification.

연구 동기 및 목표

• 실세계 로봇 응용에서 단일 시점 3차원 물체 인식의 한계를 해결하기 위해.
• 단일 관측 시점만을 사용하여 분류를 위한 최적의 시점을 예측할 수 있는 시스템을 구현하기 위해.
• 분류 성능 향상을 위해 물체 재정렬을 이끄는 회전 정책을 학습하기 위해.
• 분류 및 시점 추정을 종단간(end-to-end)으로 수행하는 통합 네트워크를 훈련하기 위해.

제안 방법

• 딥 컨volution 신경망이 물체 카테고리와 최적의 시점으로 향하는 회전 경로를 동시에 예측하도록 훈련된다.
• 단일 관측 시점에서의 3차원 물체로부터 특징 추출을 위해 공통 백본을 사용한다.
• 시점 추정은 물체를 가장 분류에 유리한 시점으로 정렬하기 위해 회전 파라미터(예: 오일러 각도)를 예측하는 회귀 헤드를 통해 수행된다.
• 물체 재정렬을 시뮬레이션하는 가분리 가능한 회전 모듈을 통해 최적의 회전 경로가 종단간으로 학습된다.
• 분류 손실과 회전 예측 손실의 조합을 사용하여 두 작업을 동시에 최적화하도록 모델을 훈련한다.
• 일반화 성능를 검증하기 위해 합성 3차원 모델 데이터베이스와 실제 이미지 데이터셋 모두에서 방법을 평가한다.

실험 결과

연구 질문

• RQ1 딥 네트워크는 단일 시점에서 물체 카테고리와 최적의 회전 경로를 동시에 예측할 수 있는가?
• RQ2 시점 추정은 3차원 물체 분류 정확도 향상에 얼마나 효과적인가?
• RQ3 합성 3차원 모델로 훈련된 네트워크는 실세계 이미지로도 일반화 가능한가?
• RQ4 회전 전략 학습이 분류 성능에 미치는 영향은 무엇인가?

주요 결과

• RotationNet은 더 나은 시점으로의 최적의 회전을 예측하고 실행하여 물체 분류 정확도를 향상시킨다.
• 모델은 단일 관측 시점에서도 효과적으로 시점을 추정하여 전략적 재정렬을 가능하게 한다.
• 이 방법은 실 이미지 데이터셋으로도 일반화되며, 합성 3차원 데이터에서 실세계 시나리오로의 전이 가능성을 보여준다.
• 분류 및 회전 예측의 공동 학습은 별도의 훈련보다 더 우수한 성능을 낳는다.