[논문 리뷰] RotationNet: Joint Object Categorization and Pose Estimation Using Multiviews from Unsupervised Viewpoints

Asako Kanezaki, Yasuyuki Matsushita외 1명|arXiv (Cornell University)|2016. 03. 20.

Human Pose and Action Recognition참고 문헌 59인용 수 50

한 줄 요약

RotationNet은 부분적인 다중 시점 영상에서 3D 객체 자세와 객체 유형을 동시에 추정하는 CNN 기반 모델로, 비지도 시점 학습을 통해 구현된다. 이 모델은 ModelNet10과 ModelNet40에서 3D 객체 분류 작업에서 최신 기술 수준(SOTA) 성능을 달성하며, 훈련 시 참값 자세 정보가 없이도 뷰별로 특화된 특징과 클래스 간 정렬 특징을 학습함으로써 지도 학습 방법보다 자세 추정 성능에서 뛰어나다.

ABSTRACT

We propose a Convolutional Neural Network (CNN)-based model "RotationNet," which takes multi-view images of an object as input and jointly estimates its pose and object category. Unlike previous approaches that use known viewpoint labels for training, our method treats the viewpoint labels as latent variables, which are learned in an unsupervised manner during the training using an unaligned object dataset. RotationNet is designed to use only a partial set of multi-view images for inference, and this property makes it useful in practical scenarios where only partial views are available. Moreover, our pose alignment strategy enables one to obtain view-specific feature representations shared across classes, which is important to maintain high accuracy in both object categorization and pose estimation. Effectiveness of RotationNet is demonstrated by its superior performance to the state-of-the-art methods of 3D object classification on 10- and 40-class ModelNet datasets. We also show that RotationNet, even trained without known poses, achieves the state-of-the-art performance on an object pose estimation dataset. The code is available on https://github.com/kanezaki/rotationnet

연구 동기 및 목표

• 다중 시점 영상 중 일부만 이용 가능한 부분 시점 조건에서의 객체 인식 문제를 해결하기 위해.
• 훈련 시 참값 시점 레이블이 필요 없이 객체 유형과 3D 자세를 동시에 학습할 수 있도록 하기 위해.
• 외관 기반 비지도 학습을 통해 클래스 간 및 클래스 내 자세 정렬을 실현함으로써 다양한 객체 유형 간 일반화 능력을 향상시키기 위해.
• 이동 중인 카메라로부터 순차적인 영상 입력을 처리할 수 있는 실시간 분류가 가능한 실용적 시스템을 개발하기 위해.
• 실제 환경 조건에서 다중 시점 객체 인식을 평가하기 위한 새로운 실세계 벤치마크 데이터셋(MIRO)을 구축하기 위해.

제안 방법

• RotationNet은 훈련 중에 시점 레이블을 잠재 변수로 간주하여, 정렬되지 않은 다중 시점 영상에서 비지도 방식으로 객체 자세를 학습한다.
• 모델은 각 입력 영상을 공유된 CNN 기반 아키텍처를 통해 처리하여 특징 표현을 추출한 후, 사전 정의된 각 시점에 맞는 자세 전용 분류 헤드를 적용한다.
• 추론 시 RotationNet은 전체 객체 유형 신뢰도를 최대화하는 시점을 선택하여 다수의 시점에서의 유형 가능성 확률을 통합한다.
• 자세 정렬 전략을 통해 뷰별 특징을 다양한 객체 유형 간에 공유함으로써 클래스 간 정렬을 실현하고 일반화 능력을 향상시킨다.
• 이 모델는 영상의 순차적 입력을 지원하며, 동적으로 객체 유형 가능성 확률을 업데이트하여 이동 중인 카메라를 위한 실시간 응용에 적합하다.
• 훈련은 완전한 다중 시점 영상 세트(예: 160개 시점)를 사용하지만, 추론은 최소한 1개 시점으로도 수행되며 높은 정확도를 유지한다.

실험 결과

연구 질문

• RQ1 참값 시점 레이블이 없이도 비지도 방식으로 객체 분류와 3D 자세 추정을 효과적으로 학습할 수 있는가?
• RQ2 부분 시점 조건에서 참값 시점 애너테이션 없이 비지도 시점 학습이 객체 분류 및 자세 추정 성능에 어떤 영향을 미치는가?
• RQ3 클래스 간 공유되는 뷰별 특징 표현이 객체 유형과 자세의 공동 학습에서 일반화 능력을 향상시키는가?
• RQ4 RotationNet은 조명, 시점, 객체 방향이 다양하게 변하는 실세계 데이터셋에 얼마나 잘 일반화되는가?
• RQ5 모델가 자세 감독 없이 훈련되었을 때, 기존 지도 학습 기반 베이스라인에 비해 자세 추정 성능에서 뛰어나게 되는가?

주요 결과

• RotationNet은 10개 클래스와 40개 클래스의 ModelNet 벤치마크에서 기존의 CNN 기반 방법보다 뛰어난 성능을 보이며 최신 기술 수준(SOTA)을 달성한다.
• 참값 자세 정보 없이 훈련되었음에도 불구하고, RGBD 객체 자세 추정 데이터셋에서 이전의 지도 학습 방법보다 뛰어난 성능을 기록한다.
• MIRO 데이터셋에서 RotationNet은 최소 2개의 시점으로도 높은 정확도를 유지하며 실세계의 부분 시점 환경에 대한 강력한 일반화 능력을 입증한다.
• 여러 시점을 사용할 경우 객체 분류 및 자세 추정 정확도가 향상되며, 단일 시점 예측보다 일관된 성능 향상이 이루어진다.
• 단지 외관 기반 비지도 정렬을 통해 12개 객체 유형에서 실세계 영상과 CAD 모델 간에 성공적으로 정렬을 수행한다.
• 이동 중인 USB 카메라 및 Microsoft HoloLens를 사용한 실시간 응용에서 뛰어난 성능을 보이며, 실시간 추론에 적합함을 검증한다.