[논문 리뷰] Ponder: Point Cloud Pre-training via Neural Rendering

Di Huang, Sida Peng외 4명|arXiv (Cornell University)|2022. 12. 31.

3D Shape Modeling and Analysis인용 수 4

한 줄 요약

Ponder는 기하학적 및 외관 정보를 포함한 3D 특징에서 실재하는 RGB-D 이미지를 재구성하는 데 목표를 두고, 가시성 렌더링을 활용한 유사한 자기지도 학습 전훈 방법을 제안한다. 이 방법은 다양한 3D 작업, 즉 3D 검출, 세분화, 재구성 및 이미지 합성에서 최신 기술 수준(SOTA) 성능을 달성하며, 기존의 대비 또는 복원 기반 방법보다 일관되게 향상된 성능을 보인다.

ABSTRACT

We propose a novel approach to self-supervised learning of point cloud representations by differentiable neural rendering. Motivated by the fact that informative point cloud features should be able to encode rich geometry and appearance cues and render realistic images, we train a point-cloud encoder within a devised point-based neural renderer by comparing the rendered images with real images on massive RGB-D data. The learned point-cloud encoder can be easily integrated into various downstream tasks, including not only high-level tasks like 3D detection and segmentation, but low-level tasks like 3D reconstruction and image synthesis. Extensive experiments on various tasks demonstrate the superiority of our approach compared to existing pre-training methods.

연구 동기 및 목표

• 풍부한 RGB-D 데이터를 활용하여 애초에 부족한 3D 포인트 클라우드 데이터의 레이블이 없는 문제를 해결하기 위한 자기지도 전훈 방법 개발.
• 신경 렌더링을 통한 기하학적 및 외관 정보를 강화함으로써 포인트 클라우드 특징이 풍부한 정보를 포함하도록 유도함.
• 사전 훈련된 특징이 고수준 인식 작업(예: 검출, 세분화)과 저수준 작업(예: 재구성, 이미지 합성) 모두에 전이 가능하도록 보장.
• 대비 또는 복원 기반 전훈과는 다름없는 새로운 사전 과제인 신경 렌더링 재구성 도입.
• 외부 환경 및 다중 시점 입력을 포함한 다양한 데이터셋 및 모odalities에서 방법의 유효성 검증.

제안 방법

• 3D 포인트 클라우드 인코더가 입력 RGB-D 이미지를 처리하여 기하학적 및 외관 특징을 학습하고, 신경 시나리오 표현을 형성한다.
• 학습된 3D 특징은 카메라 파라미터를 활용한 가시성 신경 렌더러를 통해 2D RGB 및 깊이 이미지로 렌더링된다.
• 다중 시점 감독 전략을 사용하여 렌더링된 이미지와 실재 이미지 간의 L1 및 L2 손실을 최소화함으로써 모델을 종단 간(end-to-end)으로 훈련시킨다.
• 다양한 해상도([16, 32, 64])의 3D 특징 볼륨을 구성함으로써 다중 척도 특징 학습을 가능하게 한다.
• 포인트 기반 및 볼록체 기반 백본을 모두 지원하여 다양한 3D 모델에의 탄력적 통합을 가능하게 한다.
• 사전 훈련된 모델은 최종 작업에 대해 미세 조정이 가능하거나, SDF 쿼리 및 Marching Cubes를 통해 3D 재구성 및 이미지 합성에 직접 활용될 수 있다.

실험 결과

연구 질문

• RQ1 가시성 신경 렌더링이 자기지도 학습을 통한 3D 포인트 클라우드 표현 학습에 효과적인 사전 과제가 될 수 있는가?
• RQ2 신경 렌더링을 통한 사전 훈련이 대비 또는 복원 기반 방법보다 고수준 및 저수준 3D 비전 작업에서 더 나은 일반화 성능을 보이는가?
• RQ3 다중 시점 감독이 학습된 3D 표현 품질과 최종 성능에 어떤 영향을 미치는가?
• RQ4 사전 훈련된 모델이 희소한 입력 포인트 클라우드 및 복잡한 시나리오에 얼마나 잘 일반화되는가?
• RQ5 이 방법은 다중 시점 이미지나 외부 환경 데이터셋과 같은 다른 모달리티로 효과적으로 확장될 수 있는가?

주요 결과

• Ponder는 오직 RGB-D 감독만을 사용하여 ScanNet에서 33.5%의 AP50 성능을 달성하며, 기준 모델 대비 +7.5% 향상되었다.
• 깊이 및 색상 감독을 병합하면 최고의 성능을 기록했으며, ScanNet에서 +7.5% AP50 향상 및 SUN RGB-D에서 +3.7% 향상되었다.
• 최소한의 16×16×16 특징 볼륨 해상도를 사용하더라도 경쟁 가능한 성능를 기록하여 해상도 감소에 대한 강건성을 보였다.
• 다섯 개의 입력 시점 사용은 단일 시점 감독 대비 ScanNet에서 AP50를 +0.9% 향상시키고, SUN RGB-D에서는 +1.2% 향상시켰다.
• 희소 포인트 클라우드(원래 포인트의 2%)로부터 고해상도 3D 재구성을 가능하게 하여, SDF 추출 및 Marching Cubes를 통해 세밀한 메쉬를 생성하였다.
• 다중 시점 이미지로 구성된 NuScenes 데이터셋에서 Ponder는 3D 다중 시점 객체 검출에서 mAP 1.41% 향상하여 모달리티 간 전이 가능성(transferability)을 입증하였다.