[논문 리뷰] ROOTS: Object-Centric Representation and Rendering of 3D Scenes

Chang Chen, Feiqi Deng외 1명|arXiv (Cornell University)|2020. 06. 11.

Robotics and Sensor-Based Localization인용 수 13

한 줄 요약

ROOTS는 부분 관측에서 객체 중심 3D 장면 표현을 학습하기 위해 개별 객체 구조를 추론하고 복합화하여 새로운 시각 합성하는 비지도, 엔드 투 엔드 미분 가능한 생성 모델을 제안한다. GQN을 내부 모듈로 사용하는 중첩 오토인코더 아키텍처를 통해, 객체 정체성이나 레이아웃에 대한 지도 없이도 모듈형이고 조합적인 3D 표현을 학습함으로써 3D 장면 생성, 개별 객체 조작, 그리고 새로운 객체 수에 대한 일반화에서 최고 성능을 달성한다.

ABSTRACT

A crucial ability of human intelligence is to build up models of individual 3D objects from partial scene observations. Recent works achieve object-centric generation but without the ability to infer the representation, or achieve 3D scene representation learning but without object-centric compositionality. Therefore, learning to represent and render 3D scenes with object-centric compositionality remains elusive. In this paper, we propose a probabilistic generative model for learning to build modular and compositional 3D object models from partial observations of a multi-object scene. The proposed model can (i) infer the 3D object representations by learning to search and group object areas and also (ii) render from an arbitrary viewpoint not only individual objects but also the full scene by compositing the objects. The entire learning process is unsupervised and end-to-end. In experiments, in addition to generation quality, we also demonstrate that the learned representation permits object-wise manipulation and novel scene generation, and generalizes to various settings. Results can be found on our project website: https://sites.google.com/view/roots3d

연구 동기 및 목표

• 부분 관측에서의 객체 중심 분해를 가능하게 하여 비지도 3D 장면 표현 학습의 격차를 메운다.
• 임의의 시점에서부터 3D 객체 표현을 추론하고 복합화하여 렲영을 수행할 수 있는 모델을 개발한다.
• 객체 정체성이나 레이아웃에 대한 지도 없이도 모듈형이고 조합적인 3D 표현을 엔드 투 엔드로 비지도 학습한다.
• 해방된 객체 수준 표현을 활용하여 객체 조작 및 새로운 장면 생성 등의 후행 작업을 가능하게 한다.
• 학습 중에 본 바보다 더 많은 객체를 포함한 장면으로의 일반화를 가능하게 하여 체계적인 일반화 능력을 보여준다.

제안 방법

• ROOTS는 부분 장면 관측에서 객체 영역을 식별하고 그룹화하기 위해 미분 가능한 어텐션 메커니즘을 사용하는 계층적 생성 모델을 사용한다.
• 내부 오토인코더가 사전 훈련된 GQN 모델인 중첩 오토인코더 아키텍처를 사용하여 객체 수준에서 3D 인식 가능한 표현 학습을 가능하게 한다.
• 객체 수준의 3D 표현은 변분 추론을 통해 학습되며, 잠재 변수는 각 객체의 외관과 3D 기하학을 모두 코딩한다.
• 개별 객체의 렌더링을 그들의 추론된 3D 위치와 자세에 따라 복합화하여 임의의 시점에서 새로운 시각 합성을 달성한다.
• 모델은 그래프 네트워크를 사용하여 객체 간 관계를 분류하고, 후행 작업(예: 객체 검색, 쌍 분류)을 위한 공유 분류기 헤드를 사용한다.
• 훈련은 음의 로그우도(NLL) 손실과 KL 안내 기반 스케줄링을 사용하여 완전히 비지도로 수행된다.

실험 결과

연구 질문

• RQ1 모델은 지도 없이 부분 3D 장면 관측에서 모듈형이고 객체 중심인 3D 표현을 추론할 수 있는가?
• RQ2 유추된 객체 수준 표현은 개별 객체와 전체 장면에 대한 정확하고 일반화 가능한 새로운 시각 합성을 지원하는가?
• RQ3 모델은 해방된 객체 수준 조작과 학습 중에 본 것보다 더 많은 객체를 포함한 장면으로의 체계적 일반화를 가능하게 하는가?
• RQ4 구조 정확도와 후행 작업 성능 측면에서 객체 중심 3D 표현은 장면 수준 표현보다 어떻게 비교되는가?
• RQ5 모델은 훈련 분포를 초월한 다양한 장면 구성과 객체 배치로 일반화할 수 있는가?

주요 결과

• ROOTS는 시뮬레이션된 3D 장면에서 최고 수준의 생성 품질을 달성하였으며, CGQN 및 IODINE 기준선보다 낮은 음의 로그우도(NLL)를 기록했다.
• 모델은 객체 정체성에 따라 해방된 3D 객체 표현을 성공적으로 학습하여, 훈련 시 3~5개의 객체를 넘어서도 최대 10개의 객체까지의 객체 조작 및 새로운 장면 생성이 가능했다.
• Retrieve Object 및 Find Pair 후행 작업에서 ROOTS는 CGQN 및 IODINE를 모두 압도하여 Multi-Shepard-Metzler 데이터셋에서 각각 85.6% 및 74.3%의 정확도를 기록했다.
• 모델은 새로운 객체 배열과 객체 수로의 일반화가 잘 이루어져 보존 외의 체계적 일반화 능력을 보였다.
• GQN을 내부 오토인코더 모듈로 사용함으로써 더 단순하고 효율적인 아키텍처를 유지하면서도 높은 성능을 달성했다.
• 객체 수준 표현은 높은 성능을 보여주는 쌍 간 관계 분류 작업을 통해 정확한 장면 레이아웃 추론 능력을 보여주었다.