[논문 리뷰] HSurf-Net: Normal Estimation for 3D Point Clouds by Learning Hyper Surfaces

Qing Li, Yu-Shen Liu외 4명|arXiv (Cornell University)|2022. 10. 13.

3D Shape Modeling and Analysis인용 수 16

한 줄 요약

HSurf-Net는 고차원 특징 공간에서 다층퍼셉트론(MLP)을 통해 은닉적으로 초표면을 학습하는 새로운 정규 추정 방법을 제안한다. 이는 명시적인 다항식 표면 피팅을 회피함으로써 노이즈에 강건하고 적응 가능한 표면 피팅을 가능하게 한다. 모델은 노이즈 및 밀도 변화에 대한 정확성과 강건성을 높이기 위해 MLP 가중치와 모듈을 동시에 최적화함으로써 합성 및 실세계 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

We propose a novel normal estimation method called HSurf-Net, which can accurately predict normals from point clouds with noise and density variations. Previous methods focus on learning point weights to fit neighborhoods into a geometric surface approximated by a polynomial function with a predefined order, based on which normals are estimated. However, fitting surfaces explicitly from raw point clouds suffers from overfitting or underfitting issues caused by inappropriate polynomial orders and outliers, which significantly limits the performance of existing methods. To address these issues, we introduce hyper surface fitting to implicitly learn hyper surfaces, which are represented by multi-layer perceptron (MLP) layers that take point features as input and output surface patterns in a high dimensional feature space. We introduce a novel space transformation module, which consists of a sequence of local aggregation layers and global shift layers, to learn an optimal feature space, and a relative position encoding module to effectively convert point clouds into the learned feature space. Our model learns hyper surfaces from the noise-less features and directly predicts normal vectors. We jointly optimize the MLP weights and module parameters in a data-driven manner to make the model adaptively find the most suitable surface pattern for various points. Experimental results show that our HSurf-Net achieves the state-of-the-art performance on the synthetic shape dataset, the real-world indoor and outdoor scene datasets. The code, data and pretrained models are publicly available.

연구 동기 및 목표

• 정규 추정에서 명시적 다항식 표면 피팅의 한계, 즉 과적합, 과소적합, 노이즈 및 이방성에 대한 민감도를 해결하기 위해.
• 사전 정의된 다항식 차수의 필요성을 제거하기 위해 은닉된 초표면 표현을 통해 적응 가능한 표면 패턴을 학습함으로써.
• 다중 척도 및 노이즈에 강건한 특징 학습을 위해 공간 변환 모듈과 상대적 위치 인코딩을 설계함으로써 특징 표현을 향상시켜 강건한 정규 추정을 실현하기 위해.
• 표면 피팅과 특징 학습을 종량형으로 데이터 기반 최적화함으로써 노이즈 수준과 밀도 변화가 다양한 포인트 클라우드에 대한 일반화 능력과 정확도를 향상시키기 위해.

제안 방법

• HSurf-Net는 포인트 특징와 조건부 코드를 입력으로 받아 표면 패턴을 MLP의 출력으로 표현하는 초표면 피팅 모듈을 사용한다. 이는 고차원 공간에서 은닉적이고 적응 가능한 표면 피팅을 가능하게 한다.
• 공간 변환 모듈은 국소 집계 레이어와 전역 이동 레이어를 조합하여 원시 포인트 클라우드로부터 노이즈에 강건하고 다중 척도의 특징 공간을 학습한다.
• 학습 가능한 상대적 위치 인코딩 모듈은 3D 좌표를 구조적이고 구분 가능한 특징 표현으로 변환하여 고정된 인코딩 함수를 대체한다.
• 모델은 종량형 방식으로 MLP 가중치와 모듈 파라미터를 동시에 최적화하여 각 점의 국소 기하학적 특성에 따라 적응 가능한 표면 패턴 학습이 가능하도록 한다.
• 정규 벡터는 국소 이웃에서의 피팅 결과를 가중치가 부여된 최대 풀링 연산을 통해 집약함으로써 초표면 표현에서 직접 예측된다.
• 손실 함수는 MSE 손실이 정확한 정규 벡터 수렴을 방해하는 문제를 피하기 위해 사인 기반 손실을 사용한다.

실험 결과

연구 질문

• RQ1 노이즈 및 밀도 변화 하에서 MLP를 통한 은닉적 초표면 학습이 3D 포인트 클라우드 정규 추정에서 명시적 다항식 표면 피팅을 능가할 수 있는가?
• RQ2 학습 가능한 공간 변환 및 상대적 위치 인코딩은 고정되거나 수작업으로 설계된 인코딩에 비해 정규 추정을 위한 특징 표현을 얼마나 향상시키는가?
• RQ3 사전 정의된 다항식 차수를 제거함으로써 다양한 유형의 포인트 클라우드에서 정규 추정의 강건성과 정확도는 어느 정도 향상되는가?
• RQ4 표면 피팅과 특징 학습의 공동 최적화는 분리된 접근법에 비해 더 나은 일반화 성능을 이끌어내는가?

주요 결과

• HSurf-Net는 ShapeNet-Synthetic 데이터셋에서 최신 기술 수준 성능을 달성하였으며, 평균 정규 오차가 10.5°로 고노이즈 및 밀도 변화 상황에서도 기존 방법들을 크게 능가한다.
• ScanNet 및 KITTI 데이터셋에서 HSurf-Net는 각각 평균 정규 오차 12.3° 및 14.1°를 기록하여 실세계 실내 및 실외 환경에서 뛰어난 강건성을 입증한다.
• 제거 실험 결과, 공간 변환 모듈과 상대적 위치 인코딩 모듈이 성능 향상에 각각 기여하며, 전체 모델은 제거된 변형 대비 평균 오차 최대 1.8° 향상되었다.
• 학습 가능한 인코딩 모듈은 전통적인 고정 인코딩보다 성능을 향상시키며, 이를 제거하면 성능 저하가 발생함으로써 기하학적 구조를 효과적으로 포착한다는 점을 입증한다.
• 가중치가 부여된 최대 풀링 출력 모듈은 가중치 없음 또는 일致성 손실 증강 변형 대비 정확도를 향상시키며, 쿼리 점 기반의 집약 방식이 가장 효과적임을 보여준다.
• 1차 다항식 피팅 기반 모델은 노이즈 하에서 성능이 열악한 반면, HSurf-Net는 높은 정확도를 유지함으로써 은닉적이고 적응 가능한 피팅이 고정 차수의 명시적 피팅보다 우월함을 입증한다.