[논문 리뷰] 3DP3: 3D Scene Perception via Probabilistic Programming

Nishad Gothoskar, Marco Cusumano-Towner외 7명|arXiv (Cornell University)|2021. 10. 30.

Robot Manipulation and Learning참고 문헌 40인용 수 5

한 줄 요약

3DP3는 RGB-D 이미지에서 3D 객체의 형태, 자세, 계층적 장면 그래프를 동시에 추론하는 확률적 프로그래밍 프레임워크를 제안한다. 구조적 생성 모델링을 통해 부분 관측, 겹침, 접촉 등의 조건에서도 뛰어난 6DoF 객체 자세 추정 정확도와 강건한 일반화 성능을 달성한다. 하부에서 자세 제안을 제공하고, 장면 그래프의 구조를 위해 유도적 MCMC를 사용하며, 불확실한 형태에 대한 가짜 마진형 추론을 통합함으로써 딥러닝 기반 모델들을 능가한다.

ABSTRACT

We present 3DP3, a framework for inverse graphics that uses inference in a structured generative model of objects, scenes, and images. 3DP3 uses (i) voxel models to represent the 3D shape of objects, (ii) hierarchical scene graphs to decompose scenes into objects and the contacts between them, and (iii) depth image likelihoods based on real-time graphics. Given an observed RGB-D image, 3DP3's inference algorithm infers the underlying latent 3D scene, including the object poses and a parsimonious joint parametrization of these poses, using fast bottom-up pose proposals, novel involutive MCMC updates of the scene graph structure, and, optionally, neural object detectors and pose estimators. We show that 3DP3 enables scene understanding that is aware of 3D shape, occlusion, and contact structure. Our results demonstrate that 3DP3 is more accurate at 6DoF object pose estimation from real images than deep learning baselines and shows better generalization to challenging scenes with novel viewpoints, contact, and partial observability.

연구 동기 및 목표

• 부분 관측, 겹침, 복잡한 객체 상호작용 조건 하에서도 강건한 3D 장면 이해를 가능하게 하는 생성 모델을 개발하는 것.
• 고정된 구조적 가정 없이 객체 간 접촉과 자세 의존성을 포괄하는 계층적 장면 그래프를 사용하여 3D 장면을 모델링하는 것.
• 딥러닝 기반 모델들을 능가하는 실세계 및 시뮬레이션 장면에서의 6DoF 객체 자세 추정 정확도를 향상시키는 것.
• 모델 기반 추론을 데이터 기반 검출기와 자세 추정기와 통합하여 통합된 확률적 프레임워크를 제공하는 것.
• 베이지안 프레임워크 내에서 구조적 및 기하적 사전 지식을 활용해 완전히 가림된 객체의 존재와 자세를 추론할 수 있도록 하는 것.

제안 방법

• 자기 겹침으로 인한 불확실성을 반영하기 위해 3D 객체 형태를 복셀 기반의 확률적 모델로 표현한다.
• 유연한 구조적 사전 지식을 가진 계층적 장면 그래프를 사용하여 객체 간 관계, 특히 평면 접촉을 모델링한다.
• 3D 장면 가설에서 관측된 RGB-D 이미지를 시뮬레이션하기 위해 실시간 그래픽 기반의 깊이 이미지 가능성 함수를 적용한다.
• 추론 중 장면 그래프의 구조를 효율적으로 탐색하기 위해 새로운 유도적 MCMC 커널을 구현한다.
• 객체 자세 업데이트를 위한 데이터 기반의 미트로폴리스-해스팅스 커널과 불확실한 객체 형태에 대한 가짜 마진형 추론을 통합한다.
• 사전에 학습된 신경망 기반 검출기와 자세 추정기를 생성 모델 내의 가능성 구성 요소로 통합한다.

실험 결과

연구 질문

• RQ1 계층적 장면 그래프를 갖는 구조적 생성 모델이 겹침과 접촉 조건 하에서도 3D 장면 이해를 향상시킬 수 있는가?
• RQ2 모델 기반 사전 지식과 데이터 기반 검출기를 결합할 경우 6DoF 자세 추정의 강건성이 어떻게 향상되는가?
• RQ3 생성 3D 장면 모델 내에서의 확률적 추론이 완전히 가림된 객체의 존재와 자세를 추론할 수 있는가?
• RQ4 장면 그래프의 구조 추론에 대해 유도적 MCMC를 사용할 경우 샘플링 효율성과 정확도가 향상되는가?
• RQ5 3DP3는 딥러닝 기반 모델들과 비교해 새로운 시점과 도전적인 실세계 장면에 대해 어떻게 일반화되는가?

주요 결과

• 3DP3는 실세계 및 시뮬레이션 장면에서 딥러닝 기반 모델들을 능가하는 6DoF 객체 자세 추정 정확도를 확보하였으며, 특히 부분 관측 및 겹침 조건에서 뛰어난 성능을 보였다.
• 학습 중에 나타나지 않은 새로운 시점과 복잡한 접촉 구성 조건에 대해도 뛰어난 일반화 성능을 보였다.
• 유도적 MCMC를 통한 추론은 장면 그래프의 구조 탐색을 효율적으로 가능하게 하여 샘플링 효율성과 구조 일관성을 향상시켰다.
• 신경망 기반 검출기와 자세 추정기를 확률적 프레임워크 내에 통합함으로써 공감각적 기하 제약 조건을 통해 오류를 수정할 수 있었다.
• 3DP3는 구조적 사전 지식과 장면 수준의 일관성을 활용하여 완전히 가림된 객체의 자세를 성공적으로 추론하였다.
• 가짜 마진형 추론 접근법은 객체 형태의 불확실성을 효과적으로 다루어 자기 겹침과 불완전한 데이터에 대한 강건성을 향상시켰다.