[논문 리뷰] Neural Point Cloud Rendering via Multi-Plane Projection

Peng Dai, Yinda Zhang외 3명|arXiv (Cornell University)|2019. 12. 10.

Advanced Vision and Imaging참고 문헌 5인용 수 8

한 줄 요약

이 논문은 3D 포인트 클러스터의 특징을 카메라 프루스텀 볼륨의 다층 구조로 투영하여 가시성 추정을 향상시키고 노이즈 및 희소성으로 인한 아티팩트를 줄이는 신경망 기반 포인트 클러스터 렌더링 방법을 제안한다. 특징 볼륨에 3D 컨볼루션 신경망(3D CNN)을 적용하고 다중 평면 출력을 학습된 가중치로 혼합함으로써, 특히 물체 경계 부근이나 희소하거나 노이즈가 많은 포인트 클러스터에서 뛰어난 이미지 품질과 시간적 안정성을 달성한다.

ABSTRACT

We present a new deep point cloud rendering pipeline through multi-plane projections. The input to the network is the raw point cloud of a scene and the output are image or image sequences from a novel view or along a novel camera trajectory. Unlike previous approaches that directly project features from 3D points onto 2D image domain, we propose to project these features into a layered volume of camera frustum. In this way, the visibility of 3D points can be automatically learnt by the network, such that ghosting effects due to false visibility check as well as occlusions caused by noise interferences are both avoided successfully. Next, the 3D feature volume is fed into a 3D CNN to produce multiple layers of images w.r.t. the space division in the depth directions. The layered images are then blended based on learned weights to produce the final rendering results. Experiments show that our network produces more stable renderings compared to previous methods, especially near the object boundaries. Moreover, our pipeline is robust to noisy and relatively sparse point cloud for a variety of challenging scenes.

연구 동기 및 목표

• 노이즈가 많은 깊이 정보와 정확하지 않은 가시성 검사로 인해 발생하는 가시성 추정 오류 및 렌더링 아티팩트(예: 가시성 오류, 진동 현상)를 해결하기 위해.
• 특히 카메라 경로를 따라 렌더링되는 영상에서 시간적 일致성을 향상시키기 위해.
• 밀도가 높거나 복잡한 기하 구조 복원이 필요 없이 상대적으로 희소하고 노이즈가 많은 포인트 클러스터에서도 강건한 렌더링을 가능하게 하기 위해.
• 직접 2D 이미지 평면에 투영하는 대신 3D 특징을 다층 3D 볼륨으로 투영하여 정확한 가시성 및 특징 표현을 유지하기 위해.

제안 방법

• 방법은 3D 포인트 클러스터 특징을 카메라 프루스텀 내 다층 볼륨에 투영하여 깊이 층 간의 가시성 정보를 유지한다.
• 다층 특징 볼륨을 처리하기 위해 3D 컨volution 신경망(3D CNN)을 사용하여 다수의 깊이 순서가 지정된 이미지 평면을 생성한다.
• 다중 평면 출력은 학습된 가중치를 사용해 혼합되어 최종 렌더링 이미지를 생성하며, 이는 다양한 깊이에서 온 특징들을 적응적으로 융합할 수 있도록 한다.
• 가시성은 훈련 과정에서 암묵적으로 학습되며, 깊이 노이즈에 민감한 명시적 z-버퍼 검사에 의존하지 않아도 된다.
• 직접적인 2D 투영을 피함으로써 포인트 클러스터 노이즈에 대한 민감도를 낮추고 희소 입력에 대한 강건성을 향상시킨다.
• 포괄적인 렌더링 품질과 영상 시퀀스에서의 시간적 일致성을 최적화하기 위해 엔드 투 엔드로 네트워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 노이즈가 많고 희소한 3D 포인트 클러스터로부터 안정적이고 고화질의 새로운 뷰 합성을 달성할 수 있는 신경망 렌더링 파이프라인은 가능한가?
• RQ2 포인트 클러스터 렌더링에서 가시성 추정을 어떻게 향상시켜 가시성 오류 및 진동 현상 아티팩트를 줄일 수 있는가?
• RQ3 카메라 프루스텀 내 다층 3D 볼륨에 특징을 투영하는 방식이 2D 투영 기반 방법보다 더 뛰어난 시간적 일치성을 달성할 수 있는가?
• RQ4 포인트 클러스터 밀도가 감소할 경우 이 방법이 얼마나 높은 수준의 렌더링 품질을 유지할 수 있는가?

주요 결과

• 제안된 방법은 영상 렌더링에서 뚜렷한 시간적 일치성을 확보하였으며, 사용자 연구에서 80명 중 61명이 NPG, Pix2Pix 및 직접 렌더링 방식보다 본 방법의 결과를 선호하였다.
• 심각하게 가림되거나 노이즈가 많은 포인트 클러스터에서도 물체의 구조를 유지하며, 기준 방법이 놓친 물체나 손상된 물체를 성공적으로 복원하였다.
• 정량적 평가 결과, 포인트 클러스터 밀도가 감소함에 따라 PSNR 및 SSIM 지표의 열화 속도가 더 느리게 나타나, 희소성에 대한 뛰어난 강건성을 입증하였다.
• 이전 방법이 자주 블러링이나 가시성 오류를 보였던 물체 경계 근처에서도 렌더링이 더 안정적으로 유지되었다.
• 희소 포인트 클러스터에서도 효과적으로 기능하여, 제한된 데이터로 구성된 실생활 시나리오에서 실용적인 유용성을 입증하였다.