[논문 리뷰] Neural Groundplans: Persistent Neural Scene Representations from a Single Image

Prafull Sharma, Ayush Tewari외 8명|arXiv (Cornell University)|2022. 07. 22.

Advanced Vision and Imaging인용 수 8

한 줄 요약

이 논문은 지상면에 정렬된 자기지도 학습 기반 2차원 조건부 특징 격자인 신경 지형도를 도입하여 단일 이미지에서 지속적인 3차원 시(scene) 표현을 복원한다. 훈련 중 다중 시점 영상의 운동 신호를 활용함으로써, 정적 및 동적 시나리오 성분을 분리하고, 새로운 시점 합성, 3차원 인스턴스 세분화, 경계 상자 예측, 그리고 동적 지형도에 단순 히우리스틱을 적용한 직관적인 3차원 편집을 가능하게 한다.

ABSTRACT

We present a method to map 2D image observations of a scene to a persistent 3D scene representation, enabling novel view synthesis and disentangled representation of the movable and immovable components of the scene. Motivated by the bird's-eye-view (BEV) representation commonly used in vision and robotics, we propose conditional neural groundplans, ground-aligned 2D feature grids, as persistent and memory-efficient scene representations. Our method is trained self-supervised from unlabeled multi-view observations using differentiable rendering, and learns to complete geometry and appearance of occluded regions. In addition, we show that we can leverage multi-view videos at training time to learn to separately reconstruct static and movable components of the scene from a single image at test time. The ability to separately reconstruct movable objects enables a variety of downstream tasks using simple heuristics, such as extraction of object-centric 3D representations, novel view synthesis, instance-level segmentation, 3D bounding box prediction, and scene editing. This highlights the value of neural groundplans as a backbone for efficient 3D scene understanding models.

연구 동기 및 목표

• 감독 없이 단일 이미지 관측에서 지속적인 3차원 시나리오 표현을 학습하는 것.
• 비라벨링된 다중 시점 영상에서 운동을 지도 신호로 활용해 정적 배경과 이동 가능한 정면 객체를 분리하는 것.
• 새로운 시점 합성, 인스턴스 수준 세분화, 3차원 경계 상자 예측, 3차원 편집과 같은 후행 3차원 시나리오 이해 작업을 가능하게 하는 것.
• 3차원 쿼리 및 2차원 컨volution 네트워크 기반의 이동 등가성 처리를 지원하는 메모리 효율적인 2차원 기반 신경 시나리오 표현을 개발하는 것.
• 비라벨링된 다중 시점 영상에서의 자기지도 학습을 유일한 학습 방식으로 사용하여, 복잡한 실제 환경에서 3차원 객체 탐지 및 새로운 시점 합성에서 최신 기술 성능을 달성하는 것.

제안 방법

• 조건부 신경 지형도를 제안: 지상면에 정렬된 2차원 특징 격자로, 비라벨링된 다중 시점 영상에서 미분 가능 렌더링 및 자기지도 학습을 통해 학습된다.
• 3D 점을 지형도의 특징으로 매핑하기 위해 3D에서 2D로의 투영 메커니즘을 사용하여, 3차원 쿼리에 대해 MLP 디코더를 통해 접근한다.
• 다중 시점 영상 데이터의 운동 신호를 활용해 정적 및 동적 시나리오 성분에 대해 별도의 신경 지형도를 훈련한다.
• 동적 지형도에서 유도된 밀도 맵에 대해 연결된 성분 레이블링을 적용하여 비지도 3차원 인스턴스 세분화를 수행한다.
• 이중 선형 보간을 통해 동적 지형도 특징을 직접 조작함으로써 3차원 시나리오 편집을 수행하며, 객체 삭제, 삽입, 강체 변환을 가능하게 한다.
• 미분 가능 볼륨 렌더링 기반 자기지도 손실을 활용해 지오메트리 및 외관 복원을 최적화하며, 지도 데이터나 인스턴스 레이블 없이도 수행한다.

실험 결과

연구 질문

• RQ1 비라벨링된 다중 시점 영상에서의 자기지도 학습만을 사용하여 단일 이미지에서 지속적인 3차원 시나리오 표현을 복원할 수 있는가?
• RQ2 다중 시점 영상의 운동을 활용해 테스트 시점에 단일 이미지에서 정적 및 동적 시나리오 성분을 분리할 수 있는가?
• RQ3 2차원 신경 지형도 표현이 차폐 영역에서의 높은 품질의 새로운 시점 합성 및 기하학적 보완을 지원할 수 있는가?
• RQ4 인스턴스 레이블 없이도 동적 지형도에 단순 히우리스틱을 적용해 3차원 인스턴스 수준 세분화 및 3차원 경계 상자 예측을 수행할 수 있는가?
• RQ5 신경 지형도를 통해 직접 특징 격자를 조작함으로써 직관적인 3차원 시나리오 편집을 가능하게 할 수 있는가?

주요 결과

• CLEVR 데이터셋에서 3차원 객체 탐지 성능이 최신 기술 수준에 도달했으며, 입력 시점에서 Adjusted Rand Index(ARI)는 0.92로 uORF와 동일하고, 새로운 시점에서 NV-ARI 0.89로 uORF의 0.86를 초월한다.
• 도전적인 CoSY 데이터셋에서 여러 대기차 인스턴스를 성공적으로 세분화하고, 부분적으로 관측된 객체에 대해서도 3차원 경계 상자 예측이 가능하며, uORF가 실패하는 경우에도 성능을 유지한다.
• 왜곡되지 않은 지형도에서 2차원 컨volution 네트워크의 이동 등가성 처리 덕분에, 기존 픽셀 정렬 기반 방법보다 차폐 영역에서 더 높은 품질의 새로운 시점 합성을 생성한다.
• 동적 지형도는 밀도 맵에 대한 연결된 성분 분석을 통해 인스턴스 수준의 정확한 3차원 세분화 및 3차원 경계 상자 예측을 가능하게 하며, 인스턴스 수준의 지도 없이도 수행된다.
• 3차원 시나리오 편집은 동적 지형도의 직접 조작을 통해 이루어지며, 이중 선형 보간을 통해 특징을 조작함으로써 객체 삭제, 삽입, 강체 변환을 가능하게 한다.
• 기존 자기지도 접근 방식보다 3차원 객체 탐지에서 성능을 뛰어넘었으며, 다중 시점 데이터의 운동 신호가 단일 이미지에서의 분리에 효과적으로 활용될 수 있음을 입증했다.