[논문 리뷰] TriVol: Point Cloud Rendering via Triple Volumes

Tao Hu, Xiaogang Xu외 2명|arXiv (Cornell University)|2023. 03. 29.

3D Shape Modeling and Analysis인용 수 4

한 줄 요약

이 논문은 포인트 클라우드에서 유도된 세 개의 얇고 축에 맞춰진 볼륨으로 구성된 경량이면서도 고밀도인 3D 표현인 TriVol을 제안한다. 이는 NeRF를 통해 고해상도, 시점 일致성 있고 사진처럼 사실적인 렌더링을 가능하게 한다. 효율적인 3D ConvNets와 삼선형 보간을 통해 다중 스케일 특징을 융합함으로써 TriVol은 계산 비용을 줄이고도 최신 기술 수준의 렌더링 품질을 달성하며, 동일 카테고리의 새로운 객체에 대해 피팅 조정 없이도 강력한 제로샷 일반화 성능을 보인다.

ABSTRACT

Existing learning-based methods for point cloud rendering adopt various 3D representations and feature querying mechanisms to alleviate the sparsity problem of point clouds. However, artifacts still appear in rendered images, due to the challenges in extracting continuous and discriminative 3D features from point clouds. In this paper, we present a dense while lightweight 3D representation, named TriVol, that can be combined with NeRF to render photo-realistic images from point clouds. Our TriVol consists of triple slim volumes, each of which is encoded from the point cloud. TriVol has two advantages. First, it fuses respective fields at different scales and thus extracts local and non-local features for discriminative representation. Second, since the volume size is greatly reduced, our 3D decoder can be efficiently inferred, allowing us to increase the resolution of the 3D space to render more point details. Extensive experiments on different benchmarks with varying kinds of scenes/objects demonstrate our framework's effectiveness compared with current approaches. Moreover, our framework has excellent generalization ability to render a category of scenes/objects without fine-tuning.

연구 동기 및 목표

• 기존 포인트 클라우드 렌더링 방법에서 발생하는 시점 불일치성과 구멍 아티팩트 문제를 해결하기 위해.
• 고해상도 렌더링을 위한 3D ConvNets에서 밀도 높은 3D 특징 볼륨의 비효율성을 극복하기 위해.
• 모든 3D 위치에서 연속적인 특징 쿼리가 가능한 가벼우면서도 구별력 있는 3D 표현을 설계하기 위해.
• 피팅 조정 없이도 새로운 시점이나 동일 카테고리의 새로운 객체에 대해 제로샷 일반화를 가능하게 하기 위해.
• TriVol 표현을 NeRF 렌더링 파이프라인과 융합하여 높은 세부 정보와 최소한의 아티팩트를 가진 사진처럼 사실적인 이미지를 생성하기 위해.

제안 방법

• TriVol은 입력 포인트 클라우드를 볼록화하고, 각 공간 축에 따라 볼록체를 재구성하여 세 개의 별도이지만 얇은 3D 볼륨으로 구성한다.
• 간단한 그룹화 전략(추가 신경망 없이)을 사용하는 효율적인 인코더가 포인트 클라우드에서 초기 TriVol을 생성한다.
• 디코더는 각 얇은 볼륨을 고밀도 특징 표현으로 변환하기 위해 세 개의 독립적인 3D UNets를 적용하여 고해상도 특징 추출을 가능하게 한다.
• 특징 TriVol은 모든 3D 위치에서 삼선형 보간 기반의 특징 쿼리가 가능하게 하여 연속적이고 구별력 있는 특징을 보장한다.
• 이 프레임워크는 TriVol을 NeRF 렌더링 파이프라인과 융합하여 날카운 세부 정보와 아티팩트가 없는 사진처럼 사실적인 이미지를 생성한다.
• 이 방법은 밀도 높은 볼록 격자에 비해 메모리와 FLOPS를 크게 줄이며, 고해상도 3D 공간(예: 256³)에서도 기능한다.

Figure 2 : Overview of the proposed TriVol for point cloud rendering. (a) Encoding : Input point cloud is encoded to our Initial TriVol along $x$ , $y$ , and $z$ axis; (b) Decoding : Each volume is decoded to dense feature volume via a unique 3D UNet; (c) Feature Querying : Any point’s feature is qu

실험 결과

연구 질문

• RQ1 희박한 포인트 클라우드에서 고해상도 연속적 특징 추출을 지원할 수 있는 가벼운 3D 표현을 설계할 수 있는가?
• RQ2 3D 표현에서 다중 스케일 국소 및 비국소 특징을 효과적으로 융합하는 방법은 무엇인가?
• RQ3 제안된 방법은 새로운 시점이나 객체에 대해 피팅 조정 없이도 시점 일치성 있고 사진처럼 사실적인 렌더링을 달성할 수 있는가?
• RQ4 TriVol 표현은 밀도 높은 볼록 기반 및 2D 기반 렌더링 방법에 비해 효율성과 정확도에서 어떻게 비교되는가?
• RQ5 이 방법은 다양한 포인트 밀도 또는 알려지지 않은 카테고리의 포인트 클라우드에 대해 얼마나 잘 일반화되는가?

주요 결과

• TriVol은 10만 개의 훈련 및 테스트 포인트를 가진 ShapeNet 데이터셋에서 PSNR 27.22를 기록하여 Point-NeRF(25.73) 및 기타 최신 기술 수준 방법들을 능가한다.
• 해상도 256³ 및 그룹 크기 G=16 조건에서 TriVol은 오직 8.47 GB의 GPU 메모리만을 사용하여 256³ 밀도 높은 볼록체에서 발생하는 OOM 문제를 피한다.
• 분포 이탈 상황에서도 뛰어난 성능 유지를 보인다: 10만 개 포인트로 훈련한 후 1만 개 포인트로 테스트했을 때 PSNR 27.01을 기록하여 Point-NeRF(22.75)를 능가한다.
• TriVol은 뛰어난 일반화 능력을 보이며, 피팅 조정 없이도 동일 카테고리의 새로운 객체에 대해 고품질 이미지를 렌더링할 수 있다. 이는 구별력 있고 연속적인 3D 특징 덕분이다.
• 밀도 높은 128³ 볼록체에 비해 FLOPS를 최대 95%까지 줄였고, PSNR는 1.69점 이상 향상시켰다.
• 제거 실험 결과, 기존 포인트 기반 백본보다 그룹화 기반 인코더가 더 효과적임을 확인하였으며, ScanNet에서 18.56 PSNR를 기록하여 기준 모델 대비 0.15 향상되었다.

Figure 3 : Qualitative point cloud rendering comparison between ours and SOTA methods and baselines on the ScanNet dataset.