[논문 리뷰] PonderV2: Pave the Way for 3D Foundation Model with A Universal Pre-training Paradigm

Haoyi Zhu, Honghui Yang외 9명|arXiv (Cornell University)|2023. 10. 12.

Tunneling and Rock Mechanics인용 수 6

한 줄 요약

PonderV2는 다양한 3D 비전 작업(감지, 세분화, 재구성, 이미지 합성 포함)에서 다양한 실내 및 실외 벤치마크 11개에서 최신 기술 수준 성능을 달성하는 통합 3D 사전학습 프레임워크를 제안한다. 이는 유연한 신경 렌더링을 활용해 실제 RGB-D 이미지를 재구성하도록 3D 인코더를 훈련시켜 강력한 포인트 클라우드 표현을 학습하는 방식이다. 이 접근법은 다양한 3D 비전 작업에 대해 뛰어난 일반화 능력과 하류 응용 프로그램에의 원활한 통합을 보여준다.

ABSTRACT

In contrast to numerous NLP and 2D vision foundational models, learning a 3D foundational model poses considerably greater challenges. This is primarily due to the inherent data variability and diversity of downstream tasks. In this paper, we introduce a novel universal 3D pre-training framework designed to facilitate the acquisition of efficient 3D representation, thereby establishing a pathway to 3D foundational models. Considering that informative 3D features should encode rich geometry and appearance cues that can be utilized to render realistic images, we propose to learn 3D representations by differentiable neural rendering. We train a 3D backbone with a devised volumetric neural renderer by comparing the rendered with the real images. Notably, our approach seamlessly integrates the learned 3D encoder into various downstream tasks. These tasks encompass not only high-level challenges such as 3D detection and segmentation but also low-level objectives like 3D reconstruction and image synthesis, spanning both indoor and outdoor scenarios. Besides, we also illustrate the capability of pre-training a 2D backbone using the proposed methodology, surpassing conventional pre-training methods by a large margin. For the first time, PonderV2 achieves state-of-the-art performance on 11 indoor and outdoor benchmarks, implying its effectiveness. Code and models are available at https://github.com/OpenGVLab/PonderV2.

연구 동기 및 목표

• 3D 비전 분야에서 데이터 변동성과 작업 다양성으로 인해 강건하고 일반화 가능한 3D 표현을 학습하는 데 도전하는 것.
• 신경 렌더링을 3D 표현 학습을 위한 사전 과제로 활용하여 3D와 2D 모odal 간 격차를 해소하는 것.
• 고수준 인식과 저수준 재구성 작업 모두에 일반화 가능한 통합 사전학습 프레임워크를 개발하는 것.
• 3D 사전학습에서 효과적인 전이 학습을 가능하게 하여 다양한 하류 응용 프로그램(3D 감지, 세분화, 이미지 합성 포함)에 적용하는 것.
• 신경 렌더링을 활용해 기하학적 및 외관 정보를 암묵적으로 인코딩하여 향상된 3D 특징 학습의 잠재력을 탐색하는 것.

제안 방법

• 3D 포인트 클라우드에서 실제 RGB 및 깊이 이미지를 재구성하도록 유연한 부피적 신경 렌더러를 통해 3D 포인트 클라우드 인코더를 훈련한다.
• 렌더링된 이미지와 실제 관측된 이미지 간 픽셀 단위 손실을 최소화하여 3D 인코더의 엔드 투 엔드 최적화를 가능하게 한다.
• 포인트 클라우드와 다중 시점 이미지 입력을 모두 지원하여 다양한 3D 표현 간 통합 사전학습을 가능하게 한다.
• 높은 마스킹 비율 0.8을 사용한 포인트 클라우드 입력을 위한 마스킹 오토에코딩 전략을 적용하여 전체 장면 이해를 장려한다.
• 레이어 샘플링 및 누적 기법을 활용한 고급 기술(NeuS)을 사용한 렌더링 파이프라인으로 재구성 품질을 향상시킨다.
• 설정 가능한 디코더 깊이와 너비를 갖춘 아키텍처를 설계하였으며, 기본 설정은 효율성과 성능 최적화를 위해 조정되어 있다.

실험 결과

연구 질문

• RQ1 유연한 신경 렌더링은 포인트 클라우드에서 일반화 가능한 3D 표현을 학습하기 위한 효과적인 사전 과제로 기능할 수 있는가?
• RQ2 제안된 사전학습 프레임워크는 고수준 인식과 저수준 재구성 작업 모두에 대해 어떻게 일반화되는가?
• RQ3 신경 렌더링 기반 사전학습에서 포인트 클라우드 입력에 최적의 마스킹 비율은 무엇인가?
• RQ4 신경 렌더러의 설계(예: 디코더의 깊이 및 너비)는 하류 성능에 어떤 영향을 미치는가?
• RQ5 학습된 3D 표현은 이미지 분류나 감지와 같은 2D 비전 작업으로 효과적으로 전이될 수 있는가?

주요 결과

• PonderV2는 3D 감지, 의미적 및 인스턴스 세분화, 재구성 작업을 포함한 실내 및 실외 벤치마크 11개에서 최신 기술 수준의 성능을 달성한다.
• 3D 감지에서 UniSurf 대비 0.4 NDS 향상, VolSDF 대비 0.1 NDS 향상으로 고도화된 렌더링 기법의 유용성을 입증한다.
• 카메라 모odal에 대해 마스킹 비율 0.3, 포인트 모달에 대해 0.8이 최적의 성능을 내며, 이는 작업에 맞는 설계가 필수적임을 시사한다.
• 더 깊은 SDF 및 RGB 디코더는 하류 감지 성능을 크게 향상시키지만, 더 넓은 디코더는 영향을 거의 미치지 못한다.
• 멀리 떨어진 물체나 작은 물체의 깊이를 효과적으로 재구성하여 강력한 기하학적 일반화 능력을 보여준다.
• 사전학습된 3D 인코더는 기존 사전학습 방법을 뛰어넘는 강력한 전이 성능을 2D 비전 작업에 제공한다.