[논문 리뷰] RotationNet: Joint Learning of Object Classification and Viewpoint Estimation using Unaligned 3D Object Dataset

Asako Kanezaki, Yasuyuki Matsushita외 1명|arXiv (Cornell University)|2016. 03. 20.

Advanced Neural Network Applications인용 수 7

한 줄 요약

RotationNet는 다중 시점 이미지를 사용하여 분류 및 3D 자세를 동시에 추정하는 CNN 기반 모델로, 정렬되지 않은 3D 객체 데이터셋을 활용하여 자세 레이블을 잠재 변수로 간주함으로써 비지도 학습을 수행한다. 학습 시 알려진 자세 레이블이 필요하지 않으며, ModelNet10/40에서 3D 객체 분류 및 자세 추정 모두 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose a Convolutional Neural Network (CNN)-based model which takes multi-view images of an object as input and jointly estimates its pose and object category. Unlike previous approaches that use known viewpoint labels for training, our method treats the viewpoint labels as latent variables, which are learned in an unsupervised manner during the training using an unaligned object dataset. RotationNet is designed to use only a partial set of multi-view images for inference, and this property makes it useful in practical scenarios where only partial views are available. Moreover, our pose alignment strategy enables one to obtain view-specific feature representations shared across classes, which is important to maintain high accuracy in both object categorization and pose estimation. Effectiveness of RotationNet is demonstrated by its superior performance to the state-of-the-art methods of 3D object classification on 10- and 40-class ModelNet datasets. We also show that RotationNet, even trained without known poses, achieves the state-of-the-art performance on an object pose estimation dataset. The code is available on this https URL

연구 동기 및 목표

• 학습 시 알려진 자세 레이블이 필요하지 않은 다중 시점 이미지에서 객체 종류와 3D 자세를 동시에 예측하는 방법을 개발하는 것.
• 관측 가능한 시점 수가 제한된 실세계 환경에서의 실용성을 높이기 위해 부분적인 다중 시점 이미지만으로도 추론이 가능한 방법을 제공하는 것.
• 자세 정렬 전략을 통해 다양한 객체 종류 간에 공유되는 시점별 특징 표현을 학습함으로써 분류 및 자세 추정의 정확도를 향상시키는 것.
• 정렬되지 않은, 레이블이 없는 3D 객체 데이터만을 사용하여 3D 객체 분류 및 자세 추정 벤치마크에서 최신 기술 수준의 성능을 입증하는 것.

제안 방법

• RotationNet는 객체의 다양한 각도에서의 입력 이미지를 처리하기 위해 다중 시점 CNN을 사용하여 시점 간 공유되는 특징을 추출한다.
• 자세 레이블을 잠재 변수로 간주하여, 지도 학습이 아닌 엔드 투 엔드 방식으로 학습함으로써 참값 자세 레이블이 필요 없도록 한다.
• 자세 정렬 전략을 적용하여 서로 다른 시점 간 특징을 정렬함으로써, 객체 종류에 관계없이 시점에 특화된 표현을 학습할 수 있도록 한다.
• 객체 분류 및 자세 추정 목표를 동시에 최적화하는 통합 손실 함수를 사용하여 모델을 학습한다.
• 부분적인 시점 입력도 처리할 수 있도록 아키텍처를 설계하여, 일부 시점만 제공되는 상황에서도 강인한 성능을 발휘한다.
• 이 방법은 정렬되지 않은 데이터셋을 활용하며, 이미지가 특정 자세에 사전에 정렬되지 않은 상태로 제공되어 실세계 적용에 더 넓은 가능성을 제공한다.

실험 결과

연구 질문

• RQ1 학습 시 알려진 자세 레이블이 필요 없이 다중 시점 이미지에서 객체 종류와 3D 자세를 동시에 예측할 수 있는 딥 러닝 모델이 존재하는가?
• RQ2 정렬되지 않은 3D 객체 데이터에서 비지도 학습을 수행한 모델이 3D 객체 분류 및 3D 자세 추정 작업에 얼마나 잘 일반화되는가?
• RQ3 제안된 자세 정렬 전략이 다양한 시점과 객체 종류 간의 특징 표현 학습에 얼마나 기여하는가?
• RQ4 추론 시 객체의 부분적인 시점만 제공될 경우 모델이 높은 정확도를 유지할 수 있는가?
• RQ5 분류와 자세 추정을 동시에 학습하는 것이 각각 별도로 학습하는 경우보다 성능 향상에 기여하는가?

주요 결과

• RotationNet는 3D 객체 분류에 대해 ModelNet10 및 ModelNet40 데이터셋에서 지도 학습이 전혀 이루어지지 않은 상태에서도 최신 기술 수준의 성능을 달성한다.
• 지침된 자세 레이블이 없는 자기지도 학습 방식으로 학습되었음에도 불구하고, 객체 자세 추정 벤치마크에서 최신 기술 수준의 결과를 도출한다.
• 자세 정렬 전략을 활용함으로써 네트워크는 객체 종류에 관계없이 공유되는 시점별 특징을 학습할 수 있었으며, 이는 일반화 능력과 정확도 향상에 기여했다.
• RotationNet는 추론 시 부분적인 다중 시점 이미지만 제공되어도 높은 성능을 유지하여, 관측이 불완전한 상황에서도 강인함을 입증했다.
• 분류와 자세 추정을 동시에 학습하는 비지도 학습 방식은 각각 별도로 학습된 모델보다 두 작업 모두에서 성능 향상을 이끌어냈다.