[논문 리뷰] PUGeo-Net: A Geometry-centric Network for 3D Point Cloud Upsampling

Yue Qian, Junhui Hou외 2명|arXiv (Cornell University)|2020. 02. 24.

3D Shape Modeling and Analysis참고 문헌 17인용 수 12

한 줄 요약

PUGeo-Net는 표면의 제1 및 제2 기본형을 명시적으로 모델링하여 정확한 법선을 갖춘 고밀도이고 균일하게 분포된 점들을 생성하는 기하 중심 딥러닝 프레임워크이다. 3×3 변환 행렬 T를 통한 국소 파arametric 매핑을 학습하고, 제2 기본형을 이용한 법선 이동을 통해 점들을 투영함으로써, 4×에서 16×까지의 업샘플링 인자에서 정확도와 효율성 면에서 최신 기술을 초월한다. 좌표와 법선을 동시에 회귀함으로써 성능을 향상시킨다.

ABSTRACT

This paper addresses the problem of generating uniform dense point clouds to describe the underlying geometric structures from given sparse point clouds. Due to the irregular and unordered nature, point cloud densification as a generative task is challenging. To tackle the challenge, we propose a novel deep neural network based method, called PUGeo-Net, that learns a $3 imes 3$ linear transformation matrix $\bf T$ for each input point. Matrix $\mathbf T$ approximates the augmented Jacobian matrix of a local parameterization and builds a one-to-one correspondence between the 2D parametric domain and the 3D tangent plane so that we can lift the adaptively distributed 2D samples (which are also learned from data) to 3D space. After that, we project the samples to the curved surface by computing a displacement along the normal of the tangent plane. PUGeo-Net is fundamentally different from the existing deep learning methods that are largely motivated by the image super-resolution techniques and generate new points in the abstract feature space. Thanks to its geometry-centric nature, PUGeo-Net works well for both CAD models with sharp features and scanned models with rich geometric details. Moreover, PUGeo-Net can compute the normal for the original and generated points, which is highly desired by the surface reconstruction algorithms. Computational results show that PUGeo-Net, the first neural network that can jointly generate vertex coordinates and normals, consistently outperforms the state-of-the-art in terms of accuracy and efficiency for upsampling factor $4\sim 16$.

연구 동기 및 목표

• 희박한 입력에서 균일하고 고밀도인 3D 점군을 생성하면서도 복잡한 기하학적 세부 사항과 날카로운 특징을 유지하는 문제를 해결하기 위해.
• 기존 딥러닝 방법들이 업샘플링을 특징 공간 생성 작업으로 간주하고 기하 모델링을 명시적으로 하지 않는 한계를 극복하기 위해.
• 정점 좌표와 표면 법선을 동시에 예측하는 방법을 개발하여, 후속 표면 복원 작업에 핵심적인 기여를 하기 위해.
• 이미지 슈퍼레졸루션 기반 아키텍처를 넘어서, 체계적인 방식으로 이산 미분기하학을 딥러닝에 통합하기 위해.

제안 방법

• 입력 점마다 3×3 선형 변환 행렬 T를 학습하여 국소 표면 파arameterization의 확장된 자코비안을 근사함으로써 2D 파arametric 샘플을 3D 공간으로 매핑한다.
• 데이터에서 학습된 적응형 2D 샘플링 점들이 예측된 변환 행렬 T를 이용해 3D로 올려져, 2D 도메인과 3D 탄젠트 평면 사이의 대응을 보장한다.
• 제2 기본형을 학습하여 각 생성된 점의 법선 이동 δ를 계산하고, 이를 탄젠트 평면에서 곡면으로 투영한다.
• 粗-세밀 예측 전략을 통해 반복적 보정을 통해 初기 예측을 정밀하게 개선함으로써 정확도를 향상시킨다.
• 표현 학습을 향상시키기 위해 특징 재조정과 다중 척도 특징 융합을 네트워크에 통합한다.
• 좌표와 법선에 대한 동시 감독을 통해 기하학적 일致성을 향상시킨 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 네트워크가 제1 및 제2 기본형을 명시적으로 모델링하여 기하학적으로 인식 가능한 방식으로 국소 표면 기하를 미분 가능하게 복원할 수 있는가?
• RQ2 변환 행렬 T를 통한 파arametric 매핑을 학습하는 것이 특징 공간 생성 방식에 비해 점군 업샘플링 성능을 어떻게 향상시키는가?
• RQ3 좌표와 법선을 동시에 예측하는 것이 표면 복원 작업에서 더 나은 성능과 활용도를 가져오는가?
• RQ4 고정 격자 샘플링에 비해 적응형 2D 샘플링이 날카로운 특징과 기하학적 세부 사항을 얼마나 잘 유지하는가?
• RQ5 노이즈가 많고 균일하지 않은 분포를 가진 입력 점군에 대해 이 방법은 얼마나 강인한가?

주요 결과

• 4×에서 16×까지의 업샘플링 인자에서 벤치마크 데이터셋에서 PUGeo-Net는 모든 비교 방법 중 가장 낮은 카프먼 거리(CD) 0.323과 하우스도르프 거리(HD) 1.011을 기록했다.
• 제거 실험 결과 선형 변환 모듈이 핵심임을 확인하였으며, 이를 제거하면 CD가 25% 증가(0.323 → 0.394)하여 기하학적 중요성을 입증했다.
• 좌표와 법선을 동시에 회귀하는 것이 좌표만 회귀하는 것보다 성능을 향상시키며, CD는 1.8% 감소하고 HD는 1.0% 감소했다.
• 예측된 변환 행렬 T는 분석적 자코비안과 매우 유사하며, 예측된 법선 벡터와 진짜 법선 벡터 간의 각도 중 97%가 3도 이내였다.
• 부드러운 영역(예: 단위 구)에서는 예측된 법선 이동 δ 값이 좁고, 날카로운 모서리(예: 단위 정육면체) 근처에서는 넓어지는 경향을 보여 기하학적 일관성을 확인했다.
• PUGeo-Net는 노이즈가 많고 균일하지 않은 입력에 대해 강인하며, 원본 및 생성된 점들 모두 높은 정밀도를 유지하고 정확한 법선을 생성한다.