[논문 리뷰] Voxel-based 3D Detection and Reconstruction of Multiple Objects from a Single Image

Feng Liu, Xiaoming Liu|arXiv (Cornell University)|2021. 11. 04.

Advanced Vision and Imaging인용 수 15

한 줄 요약

이 논문은 단일 2D 이미지에서 다중 객체의 3D 경계 상자와 세부적인 형태를 추론하는 벽체 기반 3D 검출 및 재구성 프레임워크를 제안한다. 3D 특징 상승 연산자, 3D 키포인트 기반 객체 검출을 위한 새로운 CenterNet-3D 검출기, 그리고 국소적 PCA-SDF를 사용한 군집에서의 재구성 모듈을 도입하여 고해상도, 실시간 3D 형태 재구성 성능을 달성하며, 이전 방법 대비 10배 빠른 추론 속도로 검출 및 재구성 분야에서 최고 성능을 기록한다.

ABSTRACT

Inferring 3D locations and shapes of multiple objects from a single 2D image is a long-standing objective of computer vision. Most of the existing works either predict one of these 3D properties or focus on solving both for a single object. One fundamental challenge lies in how to learn an effective representation of the image that is well-suited for 3D detection and reconstruction. In this work, we propose to learn a regular grid of 3D voxel features from the input image which is aligned with 3D scene space via a 3D feature lifting operator. Based on the 3D voxel features, our novel CenterNet-3D detection head formulates the 3D detection as keypoint detection in the 3D space. Moreover, we devise an efficient coarse-to-fine reconstruction module, including coarse-level voxelization and a novel local PCA-SDF shape representation, which enables fine detail reconstruction and one order of magnitude faster inference than prior methods. With complementary supervision from both 3D detection and reconstruction, one enables the 3D voxel features to be geometry and context preserving, benefiting both tasks.The effectiveness of our approach is demonstrated through 3D detection and reconstruction in single object and multiple object scenarios.

연구 동기 및 목표

• 단일 2D 이미지에서 다수의 3D 객체를 동시에 검출하고 재구성하는 문제에 도전하며, 깊이의 모호성과 시나리오의 복잡성으로 인해 어려운 과제를 해결하고자 한다.
• 검출 및 재구성 작업을 지원하는 3D 기하학적 인식 표현을 2D 이미지에서 학습하고자 한다.
• 효율적이고 고해상도의 3D 형태 재구성을 실시간 추론 능력과 함께 가능하게 하고자 한다.
• 검출과 재구성에서 상호 보완적인 감독을 활용하여 특징 품질과 작업 성능을 향상시키는 통합 프레임워크를 개발하고자 한다.

제안 방법

• 3D 특징 상승 연산자는 2D 이미지 특징을 카메라 투영 행렬을 사용하여 3D 벽체 격자로 투영하며, 위치 인코딩을 통해 특징의 구분 능력을 향상시킨다.
• 새로운 CenterNet-3D 검출기는 3D 공간에서의 키포인트 검출로 3D 객체 검출 문제를 재정의하여, 직접적인 깊이 회귀 없이 클래스별 3D 히트맵을 예측함으로써 객체 중심의 정확한 국소화를 달성한다.
• 군집에서의 재구성 모듈은 군집 수준의 점유 격자와 세분 수준의 국소적 PCA-SDF 표현을 사용하여 효율적으로 세부적인 3D 형태를 모델링한다.
• 국소적 PCA-SDF 표현은 각 벽체마다 서명 거리 함수(SDF)의 저차원 기저를 학습하여, 높은 재구성 정확도를 달성하면서도 압축되고 강력한 형태 인코딩을 가능하게 한다.
• 3D 검출 및 재구성 작업에서 유도된 상호 보완적 감독은 벽체 특징을 최적화하여 기하학적 구조와 맥락 정보를 모두 유지한다.
• 평가를 위해 18,000장의 실제 이미지, 19개의 객체 카테고리, 3D 애너테이션을 포함하는 새로운 벤치마크를 구축하였다.

실험 결과

연구 질문

• RQ1 단일 2D 이미지에서 검출 및 재구성 작업을 지원하는 통합된 3D 벽체 특징 표현을 학습할 수 있는가?
• RQ2 벽체화된 공간에서 3D 키포인트 검출로 3D 객체 검출을 설정할 경우, 2D 기반 방법에 비해 중심 국소화 정확도가 향상되는가?
• RQ3 국소적 PCA-SDF 표현이 기존의 암시 함수 기반 방법에 비해 훨씬 더 빠른 추론 속도로 고해상도 3D 형태 재구성을 달성할 수 있는가?
• RQ4 제안된 방법은 재구성 및 검출에서 미리 보지 않은 객체 카테고리로 일반화되는가?

주요 결과

• 제안된 방법은 단일 객체 및 다중 객체 벤치마크에서 검출 및 재구성 분야에서 최고 성능을 기록하였으며, 3D 키포인트 기반 CenterNet-3D 검출기 덕분에 중심 국소화 정확도가 향상되었다.
• 국소적 PCA-SDF 표현은 DeepLS(0.040 × 10³)보다 낮은 캄퍼 거리(0.022 × 10³)를 달성하였고, 파라미터 수가 적고 256³ 해상도에서 10배 빠른 추론 속도를 기록하였다.
• 이전의 최고 성능(SOTA) 방법 대비 추론 시간을 한 단계 감소시켜 실시간 성능을 달성하여 후속 응용에 적합한 성능을 보였다.
• PCA-SDF 표현은 소규모 기하학적 변형(이동 ±0.1r, 회전 ±4°)에 대해 강건하며, 테스트 변형 전후로 낮은 재구성 오차를 유지하였다.
• 미리 보지 않은 카테고리로도 잘 일반화되었으며, 단일 카테고리에서 훈련한 경우도 볼드된 카테고리에서 0.028 × 10³의 재구성 오차를 기록하여 볼드된 카테고리의 0.022 × 10³ 오차에 근접하였다.