[논문 리뷰] Neural Points: Point Cloud Representation with Neural Fields for Arbitrary Upsampling

Wanquan Feng, Jin Li외 3명|arXiv (Cornell University)|2021. 12. 08.

3D Shape Modeling and Analysis인용 수 4

한 줄 요약

이 논문은 신경 필드를 사용하여 각 점이 국소적인 연속적인 기하 형상을 인코딩하는 새로운 포인트 클라우드 표현인 Neural Points를 소개한다. 이는 뛰어난 세부 사항 유지 능력을 갖춘 임의의 배수의 업샘플링을 가능하게 한다. 깊이 특징과 공유된 신경 필드를 통해 2D 매개변수 영역과 3D 표면 파편 사이의 국소 이sovomorphism를 학습함으로써 Neural Points는 다양한 입력과 노이즈 수준에서 뛰어난 일반화 능력과 강건성을 갖춘 업샘플링에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper, we propose Neural Points, a novel point cloud representation and apply it to the arbitrary-factored upsampling task. Different from traditional point cloud representation where each point only represents a position or a local plane in the 3D space, each point in Neural Points represents a local continuous geometric shape via neural fields. Therefore, Neural Points contain more shape information and thus have a stronger representation ability. Neural Points is trained with surface containing rich geometric details, such that the trained model has enough expression ability for various shapes. Specifically, we extract deep local features on the points and construct neural fields through the local isomorphism between the 2D parametric domain and the 3D local patch. In the final, local neural fields are integrated together to form the global surface. Experimental results show that Neural Points has powerful representation ability and demonstrate excellent robustness and generalization ability. With Neural Points, we can resample point cloud with arbitrary resolutions, and it outperforms the state-of-the-art point cloud upsampling methods. Code is available at https://github.com/WanquanF/NeuralPoints.

연구 동기 및 목표

• 기존의 이산적 포인트 클라우드가 유한한 해상도로 인해 세밀한 기하 형상을 포착할 수 없는 제한된 표현 능력을 해결하기 위해.
• 기존의 '이산적에서 이산적'으로의 업샘플링 방법이 다양한 해상도 배수와 노이즈가 있는 입력에 대해 일반화되지 못하는 한계를 극복하기 위해.
• 국소 신경 필드 모델링을 통해 풍부한 기하 형상을 유지하는 연속적이고 해상도 자유형 포인트 클라우드 표현을 개발하기 위해.
• 통합된 국소 신경 필드에서 유도된 전역 연속 표면을 통해 임의의 해상도의 업샘플링을 가능하게 하기 위해.
• 실제 스캔, 노이즈가 있는 데이터, LiDAR 데이터 등 다양한 데이터에 대해 강건성과 일반화 능력을 입증하기 위해.

제안 방법

• 입력 포인트 클라우드의 각 점은 신경 필드를 통해 2D 매개변수 영역에서의 연속적인 일대일 사상으로 표현되는 국소 3D 표면 파편으로 표현된다.
• 각 점으로부터 국소적인 깊이 특징이 추출되고, 이는 신경 필드 네트워크의 조건부 입력으로 사용되어 국소 기하 형상을 인코딩한다.
• 신경 필드는 2D 매개변수 영역과 3D 국소 표면 파편 사이의 국소 이sovomorphism를 학습하여 매끄럽고 역행 가능한 사상이 보장된다.
• 풍부한 기하 형상 정보를 포함한 고해상도 표면에서 공유된 신경 네트워크를 훈련시켜 다양한 형태 간의 일반화 능력을 향상시킨다.
• 모든 국소 신경 필드는 설계된 융합 전략을 사용하여 전역 연속 표면을 재구성한다.
• 연속적인 Neural Points 표면에서 샘플링을 통해 임의의 해상도의 포인트 클라우드를 생성함으로써 해상도 자유형 업샘플링이 가능해진다.

실험 결과

연구 질문

• RQ1 신경 필드를 통해 국소 연속적인 기하 형상을 인코딩하는 포인트 클라우드 표현이 기존의 이산적 표현보다 업샘플링 작업에서 뛰어난 성능을 보일 수 있는가?
• RQ2 깊이 특징에 조건부로 설정된 공유된 국소 신경 필드의 사용이 다양한 노이즈가 있는 입력에 대해 일반화 능력과 강건성을 향상시키는가?
• RQ3 기존 방법과 달리, 매우 큰 업샘플링 요소(예: 256×)에서도 성능 저하 없이 고품질의 업샘플링을 달성할 수 있는가?
• RQ4 깊이 카메라 및 LiDAR 스캔과 같은 실제 세계의 노이즈가 있고 균일하지 않은 샘플링이 이루어진 데이터에 대해 Neural Points 표현은 어떻게 성능을 발휘하는가?
• RQ5 재학습 없이도 모델이 예측되지 않은 데이터 세트에 얼마나 잘 일반화되는가?

주요 결과

• Neural Points는 표준 업샘플링 벤치마크에서 PU-GAN, PU-GCN, Dis-PU와 같은 기존 방법들을 능가하는 최신 기술 수준의 성능을 달성했으며, 정량적 지표와 시각적 품질 모두에서 뛰어난 성능을 보였다.
• 기본 방법이 16× 업샘플링을 위해 훈련된 경우 두 단계 적용 후 심각한 성능 저하가 발생하는 것과는 달리, Neural Points는 극단적인 업샘플링 요소(예: 256×)에서도 고성능 결과를 유지했다.
• iPhone X 깊이 센서로 촬영한 실제 캡처 데이터에서 Neural Points는 세밀한 기하 형상을 잘 유지하고 잡음 없는 결과를 도출했으며, Dis-PU는 기하 형상을 유지하지 못했고, PUGeo-Net은 눈에 띄는 왜곡을 유발했다.
• 재학습 없이도 PU-GAN 벤치마크와 같은 예측되지 않은 데이터 세트에 대해 잘 일반화되어 정량적·정성적 평가에서 최고의 성능을 기록했다.
• Neural Points는 가우시안 노이즈에 대해 강력한 강건성을 보였으며, 다른 방법들이 주름지거나 왜곡된 결과를 낼 때도 매끄럽고 정확한 표면을 유지했다.
• KITTI 데이터셋의 LiDAR 스캔에서도 높은 품질의 결과를 도출하여 실제 3D 센싱 데이터에 대한 적용 가능성과 타당성을 확인했다.