[논문 리뷰] Unsupervised learning through one-shot image-based shape reconstruction.

Dinesh Jayaraman, Ruohan Gao외 1명|arXiv (Cornell University)|2017. 09. 01.

Human Pose and Action Recognition참고 문헌 17인용 수 8

한 줄 요약

이 논문은 인코더-디코더 CNN를 사용하여 단일 2D 이미지에서 3D 형태 표현을 자율학습하고 클래스에 관계없이 학습하는 방법을 제안한다. 단일 입력 이미지에서 모든 보이지 않는 시각을 재구성하도록 모델을 훈련시킴으로써, 영속적인 형태 특징을 학습하여 제로샷 정신적 회전을 가능하게 하고, 기존의 비지도 학습 방법보다 물체 인식 성능에서 뛰어나다.

ABSTRACT

We introduce an unsupervised feature learning approach that embeds 3D shape information into a single-view image representation. The main idea is a self-supervised training objective that, given only a single 2D image, requires all unseen views of the object to be predictable from learned features. We implement this idea as an encoder-decoder convolutional neural network. The network maps an input image of an unknown category and unknown viewpoint to a latent space, from which a deconvolutional decoder can best lift the image to its complete viewgrid showing the object from all viewing angles. Our class-agnostic training procedure encourages the representation to capture fundamental shape primitives and semantic regularities in a data-driven manner---without manual semantic labels. Our results on two widely-used shape datasets show 1) our approach successfully learns to perform mental rotation even for objects unseen during training, and 2) the learned latent space is a powerful representation for object recognition, outperforming several existing unsupervised feature learning methods.

연구 동기 및 목표

• 카테고리별로 감독받지 않고 단일 시각 이미지에서 3D 형태 정보를 포착하는 비지도 특징 학습 방법을 개발하는 것.
• 기본적인 형태 원소와 의미적 규칙성을 학습함으로써, 훈련 중에 본 적이 없는 물체 카테고리로의 일반화를 가능하게 하는 것.
• 수동 레이블링이 필요 없도록, 시각 재구성 기반의 자율학습 목표를 사용하는 것.
• 학습된 표현이 제로샷 일반화 및 후속 인식 작업을 지원하는지 평가하는 것.

제안 방법

• 모델은 단일 2D 이미지를 잠재 공간으로 매핑하고, 모든 방향에서의 완전한 뷰그리드를 재구성하기 위해 인코더-디코더 컨volutional 신경망을 사용한다.
• 자율학습 훈련 목표는 인코딩된 특징에서 입력 이미지만을 이용해 모든 보이지 않는 뷰를 예측하도록 요구한다.
• 인코더는 단일 이미지에서 계층적인 특징을 추출하고, 디코더는 모든 시점에서의 물체를 나타내는 다중 시각 출력을 생성한다.
• 예측된 뷰그리드 이미지와 진짜 뷰그리드 이미지 간의 차이를 최소화하는 재구성 손실을 사용하여 모델을 엔드 투 엔드로 훈련시킨다.
• 이 방법은 클래스에 관계없는 것으로, 카테고리 레이블이나 물체 정체성에 대한 사전 지식이 필요하지 않다.
• 잠재 공간은 정신적 회전과 일반화를 지원하는 형태 불변 특징을 인코딩하도록 최적화된다.

실험 결과

연구 질문

• RQ1 카테고리 레이블이나 감독 없이도, 단일 2D 이미지에서 모든 누락된 뷰를 재구성할 수 있는가?
• RQ2 학습된 표현이 데이터 기반 방식으로 분리된 형태 원소와 의미적 규칙성을 포착하는가?
• RQ3 학습 중에 본 적이 없는 물체에 대해 모델이 암묵적으로 정신적 회전을 수행할 수 있는가?
• RQ4 기존의 비지도 학습 방법과 비교해, 학습된 표현이 후속 인식 작업에서 얼마나 잘 성능을 내는가?
• RQ5 잠재 공간은 의미적으로 유의미하고 제로샷 물체 인식에 유용한가?

주요 결과

• 모델은 훈련 분포를 초월한 일반화를 보이며, 새로운 물체에 대해 정신적 회전을 성공적으로 수행한다.
• 학습된 잠재 공간은 두 가지 벤치마크 형태 데이터셋에서 비지도 학습 방법 중 최고 성능을 달성한다.
• 후속 인식 작업에서 몇 가지 기존의 비지도 특징 학습 베이스라인보다 성능이 뛰어나다.
• 카테고리 수준의 레이블링이나 파라미터 조정 없이도 물체 카테고리 간에 일반화된다.
• 자율학습 목표가 형태 불변 및 의미적으로 규칙적인 특징의 학습을 효과적으로 유도한다.