[논문 리뷰] Neural Object Descriptors for Multi-View Shape Reconstruction

Edgar Sucar, Kentaro Wada외 1명|arXiv (Cornell University)|2020. 04. 09.

Robotics and Sensor-Based Localization참고 문헌 41인용 수 9

한 줄 요약

이 논문은 단일 또는 다중 뷰 RGB-D 이미지에서 끝내기 가능한, 다중 클래스 신경망 기반 객체 기술자와 기울기 기반 확률적 렌더링 엔진을 통합하여 종단간(end-to-end), 기울기 기반 3D 형상 재구성 기술을 제안한다. 이 프레임워크는 객체 형상, 자세, 카메라 경로를 동시에 최적화하여 로봇 집게, 증강 현실 및 완전 기울기 기반의 첫 번째 객체 수준 SLAM 시스템을 포함한 응용 분야에서 정확한 3D 재구성을 가능하게 한다.

ABSTRACT

The choice of scene representation is crucial in both the shape inference algorithms it requires and the smart applications it enables. We present efficient and optimisable multi-class learned object descriptors together with a novel probabilistic and differential rendering engine, for principled full object shape inference from one or more RGB-D images. Our framework allows for accurate and robust 3D object reconstruction which enables multiple applications including robot grasping and placing, augmented reality, and the first object-level SLAM system capable of optimising object poses and shapes jointly with camera trajectory.

연구 동기 및 목표

• RGB-D 이미지에서 끝내기 가능한 다중 클래스 표현을 사용하여 강력하고 정확한 3D 객체 형상 재구성을 해결하기 위해.
• 종단간 최적화를 지원하는 기울기 기반이고 확률적인 렌더링 엔진을 개발하기 위해.
• 객체 자세, 형상, 카메라 경로의 공동 최적화를 통해 체계적인 3D 재구성을 가능하게 하기 위해.
• 로봇 집게, 증강 현실, 객체 수준 SLAM과 같은 실용적 응용 분야를 지원하기 위해.
• 딥러닝과 기울기 기반 렌더링을 활용한 다중 뷰 3D 재구성에 대해 확장 가능하고 효율적인 프레임워크를 제공하기 위해.

제안 방법

• 다양한 객체 형상을 효율적으로 표현할 수 있도록 훈련된 다중 클래스 신경망 기반 객체 기술자를 사용한다.
• 새로운 기울기 기반이고 확률적인 렌더링 엔진이 3D 객체 가설에서 RGB-D 관측치를 시뮬레이션하여 기울기 기반 최적화를 가능하게 한다.
• 렌더링 과정을 통해 역전파를 수행함으로써 종단간 최적화를 수행하여 객체 형상, 자세, 카메라 경로를 개선한다.
• 객체 기술자가 클래스 간에 공유되어 다양한 객체 유형 간의 일반화 및 효율적인 추론을 가능하게 한다.
• 단일 뷰 및 다중 뷰 입력을 모두 지원하며, 뷰 간 기하학적 일致성을 활용하여 재구성 정확도를 향상시킨다.
• 기울기 기반 렌더링 엔진이 관측치의 불확실성을 모델링하여 체계적인 확률적 추론을 통해 3D 형상을 추정한다.

실험 결과

연구 질문

• RQ1 학습된 신경망 기반 객체 기술자가 RGB-D 이미지에서 정확하고 일반화 가능한 3D 형상 재구성을 가능하게 할 수 있는가?
• RQ2 기울기 기반이고 확률적인 렌더링 엔진이 객체 형상과 카메라 경로의 종단간 최적화를 지원할 수 있는가?
• RQ3 객체 형상, 자세, 카메라 경로의 공동 최적화가 순차적 또는 독립적 최적화보다 3D 재구성 정확도를 향상시킬 수 있는가?
• RQ4 이 프레임워크는 로봇 집게나 증강 현실과 같은 실세계 응용 분야를 지원할 수 있는가?
• RQ5 객체 기하학과 장면 구조를 공동 최적화하는 객체 수준 SLAM 시스템을 구축하는 것은 가능한가?

주요 결과

• 기울기 기반이고 확률적인 렌더링을 통해 하나 이상의 RGB-D 이미지에서 객체의 정확한 3D 재구성을 가능하게 한다.
• 객체 형상, 자세, 카메라 경로의 공동 최적화는 독립 최적화보다 더 일관되고 정확한 재구성을 이끈다.
• 이 시스템은 객체 기하학과 장면 구조를 종단간 기울기 기반 최적화할 수 있는 첫 번째 객체 수준 SLAM 시스템을 지원한다.
• 학습된 객체 기술자가 클래스 간에 일반화되어 공유 표현을 통해 다중 클래스 3D 재구성을 가능하게 한다.
• 고정밀도 3D 형상 추정 덕분에 실용적 응용 분야인 로봇 집게와 증강 현실을 지원한다.
• 기울기 기반 렌더링 엔진이 불확실성 인식 추론을 지원하여 노이즈가 많거나 불완전한 관측치에 대한 강건성을 향상시킨다.