[논문 리뷰] Self-Supervised Arbitrary-Scale Point Clouds Upsampling via Implicit Neural Representation

Wenbo Zhao, Xianming Liu외 5명|arXiv (Cornell University)|2022. 04. 18.

3D Shape Modeling and Analysis인용 수 5

한 줄 요약

이 논문은 암묵적 신경 표현을 사용하여 자기지도 학습 방식으로 임의의 스케일에서 포인트 클라우드 업샘플링을 수행하는 방법을 제안한다. 업샘플링을 학습 가능한 방향 및 거리 함수를 통해 시드 포인트를 암묵적 표면에 투영하는 것으로 공식화하며, 지도 학습이 필요한 정밀한 포인트 클라우드 데이터가 없이 사전 학습 과제를 통해 훈련함으로써 다양한 스케일 인자에서 최신 기술 대비 뛰어난 시각적 품질과 경쟁 가능한 정량적 성능을 달성한다.

ABSTRACT

Point clouds upsampling is a challenging issue to generate dense and uniform point clouds from the given sparse input. Most existing methods either take the end-to-end supervised learning based manner, where large amounts of pairs of sparse input and dense ground-truth are exploited as supervision information; or treat up-scaling of different scale factors as independent tasks, and have to build multiple networks to handle upsampling with varying factors. In this paper, we propose a novel approach that achieves self-supervised and magnification-flexible point clouds upsampling simultaneously. We formulate point clouds upsampling as the task of seeking nearest projection points on the implicit surface for seed points. To this end, we define two implicit neural functions to estimate projection direction and distance respectively, which can be trained by two pretext learning tasks. Experimental results demonstrate that our self-supervised learning based scheme achieves competitive or even better performance than supervised learning based state-of-the-art methods. The source code is publicly available at https://github.com/xnowbzhao/sapcu.

연구 동기 및 목표

• 큰 규모의 페어드 스parse-dense 데이터셋과 편향된 분포를 요구하는 지도 학습 기반 포인트 클라우드 업샘플링 방법의 한계를 해결하기 위해.
• 다양한 업샘플링 인자에 대해 별도의 네트워크가 필요로 하는 기존 딥 러닝 방법의 고정 스케일 성질을 극복하기 위해.
• 재학습이나 모델 재구성 없이도 다양한 스케일 인자를 처리할 수 있는 통합적이고 확장 가능한 업샘플링 프레임워크를 개발하기 위해.
• 지속적인 지도 학습이 필요로 하는 정밀한 포인트 클라우드 데이터에 의존하지 않고, 업샘플링을 암묵적 표면 위의 가장 가까운 투영으로 공식화함으로써 자기지도 학습을 가능하게 하기 위해.

제안 방법

• 포인트 클라우드 업샘플링을 신경 함수로 정의된 암묵적 표면에 시드 포인트의 가장 가까운 투영을 찾는 것으로 공식화한다.
• 투영 방향을 예측하는 두 번째 암묵적 신경 함수와 표면까지의 거리를 추정하는 두 번째 함수를 도입한다.
• 정밀한 포인트 클라우드 데이터가 없이도, 포인트 간 상대적 위치 예측 및 局부 기하 구조 복원이라는 두 가지 사전 학습 과제를 통해 두 함수를 훈련한다.
• 투영 과정에서 연속성과 아웃라이어 제어를 균형 있게 유지하기 위해 파rameter M을 사용하는 다중 스케일 샘플링 전략을 적용한다.
• 투영 후 아웃라이어 제거 단계를 적용하여 표면의 균일성을 향상시키고 아티팩트를 줄인다.
• 생성된 출력이 과도하게 샘플링되므로, 최종 포인트 수를 목표 수로 조정하기 위해 가장 먼 점 샘플링을 사용한다.

Figure 1 : The network architecture of implicit neural function.

실험 결과

연구 질문

• RQ1 페어드 스parse 및 정밀한 포인트 클라우드 지도 데이터가 없이도 포인트 클라우드 업샘플링을 효과적으로 자기지도 학습 방식으로 수행할 수 있는가?
• RQ2 재학습이나 모델 재구성 없이도 단일 통합 모델이 다양한 업샘플링 스케일 인자를 처리할 수 있는가?
• RQ3 샘플링 이웃 크기 M의 선택이 투영된 포인트 클라우드의 품질과 연속성에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 실제 세계의 노이즈가 있는 또는 균일하지 않은 샘플링된 입력에 얼마나 잘 일반화되는가?
• RQ5 암묵적 신경 표현이 고해상도, 고밀도, 균일한 포인트 클라우드 생성을 위해 기저 표면을 효과적으로 모델링할 수 있는가?

주요 결과

• 제안된 방법은 최신 기술의 지도 학습 기반 방법들과 비교해도 경쟁적 또는 우수한 시각적 품질을 달성하며, 특히 미세한 구조와 윤곽을 잘 유지한다.
• KITTI 데이터셋의 실제 스캔 데이터에 대해서도 잘 일반화되어 있으며, 희소하고 균일하지 않은 입력에서도 고해상도의 밀도 높은 포인트 클라우드를 생성한다.
• 입력 크기와 노이즈 수준에 관계없이 일관되고 균일한 포인트 분포를 유지함으로써 강건성을 입증한다.
• 절단 실험 결과, M을 증가시킬수록 표면의 연속성이 향상되지만 아웃라이어가 더 많이 발생하며, 제안된 제거 단계에 의해 효과적으로 감소함을 확인한다.
• 재학습 없이도 다양한 스케일 인자(예: 4×, 8×)에서 우수한 성능을 보이며, 확장 가능한 업샘플링 성질을 확인한다.
• 아웃라이어 제거에도 불구하고 소수의 아웃라이어가 잔류하며, 생성 과정에서 과도한 샘플링이 발생하므로 최종 포인트 수는 가장 먼 점 샘플링을 통해 조정된다.

Figure 2 : $4\times$ point upsampling results of Chair , Camel and Fandisk . (a) the input point cloud; (b) the ground truth; (c) to (i) the results of PU-Net [ 21 ] , MPU [ 20 ] , PU-GAN [ 7 ] , PU-GCN [ 13 ] , PU-DR [ 8 ] , Meta-PU [ 19 ] and ours. Please enlarge the PDF for more details.