[논문 리뷰] Learning to Infer 3D Object Models from Images.

Chang Chen, Fei Deng외 1명|arXiv (Cornell University)|2020. 06. 11.

Robotics and Sensor-Based Localization참고 문헌 26인용 수 5

한 줄 요약

이 논문은 다중 객체 장면 이미지에서 3D 객체 표현을 추론할 수 있도록 공동으로 객체 영역을 탐색하고 그룹화하는 비지도(end-to-end), 확률적 생성 모델을 제안한다. 이 모델은 구성적 렌더링을 통해 개별 객체와 전체 장면의 새로운 시야를 합성할 수 있으며, 지도 학습 없이도 분리된, 모듈러한 3D 객체 모델링을 달성한다.

ABSTRACT

A crucial ability of human intelligence is to build up models of individual 3D objects from partial scene observations. Recent works have enabled unsupervised 3D representation learning at scene-level, yet learning to decompose the 3D scene into 3D objects and build their individual models from multi-object scene images remains elusive. In this paper, we propose a probabilistic generative model for learning to build modular and compositional 3D object models from observations of a multi-object scene. The proposed model can (i) infer the 3D object representations by learning to search and group object areas and also (ii) render from an arbitrary viewpoint not only individual objects but also the full scene by compositing the objects. The entire learning process is unsupervised and end-to-end. We also demonstrate that the learned representation permits object-wise manipulation and novel scene generation, and generalizes to various settings.

연구 동기 및 목표

• 다중 객체 장면 이미지에서 3D 객체 모델을 비지도 학습함으로써 장면 수준의 3D 표현 학습에 한계가 있는 문제를 해결한다.
• 3D 객체의 모듈러하고 구성적인 표현을 추론함으로써 복잡한 장면을 개별 3D 객체로 분해한다.
• 개별 객체의 조합을 통해 객체 수준의 복합 렌더링을 통해 전체 장면의 새로운 시야 합성을 지원한다.
• 3D 객체 인스턴스나 객체 수준의 감독 없이도 엔드 투 엔드, 자기지도 학습을 가능하게 한다.
• 학습된 표현을 활용해 객체 수준의 조작과 새로운 장면 생성과 같은 후행 기능을 지원한다.

제안 방법

• 모델는 장면 내 객체 위치, 3D 형태, 외관을 동시에 고려하는 확률적 생성 프레임워크를 사용한다.
• 모델은 렌더링된 시각에서의 픽셀 수준 재구성 오차를 최소화하기 위해, 개별 3D 객체 예측을 조합하여 전체 장면 뷰를 생성하는 미분 가능 렌더링 메커니즘을 활용한다.
• 객체 추론은 2D 이미지 관측에서 3D 객체 영역을 식별하고 분할하는 검색-그룹화 과정을 통해 이루어진다.
• 구조적 잠재 변수 공간을 통해 객체 정체성과 공간적 배치를 분리된 방식으로 학습한다.
• 학습은 픽셀 수준의 재구성 오차를 렌더링된 뷰로부터 사용하여 생성 과정을 최적화하는 방식으로 완전히 비지도로 수행된다.
• 학습된 3D 객체 모델을 다양한 시점으로 조합함으로써 임의의 시점 렌더링을 지원한다.

실험 결과

연구 질문

• RQ1 모델은 3D 감독이나 객체 수준의 애너테이션 없이도 다중 객체 장면 이미지에서 3D 객체 표현을 추론할 수 있는가?
• RQ2 모델은 장면 내 객체 영역을 탐지하고 그룹화하여 모듈러한 3D 객체 모델을 형성할 수 있는가?
• RQ3 학습된 3D 표현은 개별 객체와 전체 장면 모두에 대해 정확한 새로운 시야 합성을 지원하는가?
• RQ4 모델은 다양한 장면 구성에 일반화되어 있으며, 객체 수준의 조작과 장면 생성을 가능하게 하는가?
• RQ5 엔드 투 엔드 비지도 학습을 수행하면서도 분리된, 해석 가능한 3D 객체 표현을 유지할 수 있는가?

주요 결과

• 모델은 완전히 비지도 방식으로 다중 객체 장면에서 3D 객체 표현을 성공적으로 추론한다.
• 유추된 3D 객체 모델은 개별 객체와 전체 장면 모두에 대해 고품질의 새로운 시야 합성을 지원한다.
• 표현은 객체 수준의 조작(예: 장면 내 객체 재배치 또는 교체)을 가능하게 한다.
• 모델은 피팅 없이도 다양한 장면 레이아웃과 객체 구성에 일반화된다.
• 3D 애너테이션 없이도 감독 기반 기준 모델과 경쟁 가능한 성능을 달성한다.
• 분리된 3D 표현은 학습된 객체 모델을 조합함으로써 의미 있는 장면 생성을 가능하게 한다.