[논문 리뷰] Refine-Net: Normal Refinement Neural Network for Noisy Point Clouds

Haoran Zhou, Honghua Chen외 7명|arXiv (Cornell University)|2022. 03. 23.

3D Shape Modeling and Analysis인용 수 4

한 줄 요약

Refine-Net는 국소 좌표, 높이 거리, 곡률과 같은 다양한 기하 특징 표현을 새로운 연결 모듈을 통해 융합함으로써 노이즈가 있는 포인트 클라우드의 법선을 정제하는 딥러닝 프레임워크이다. 이는 합성 및 실제 스캔 데이터셋에서 모두 날카로운 특징 보존과 노이즈 제거를 크게 향상시키며, 정상 추정 및 노이즈 제거 분야에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Point normal, as an intrinsic geometric property of 3D objects, not only serves conventional geometric tasks such as surface consolidation and reconstruction, but also facilitates cutting-edge learning-based techniques for shape analysis and generation. In this paper, we propose a normal refinement network, called Refine-Net, to predict accurate normals for noisy point clouds. Traditional normal estimation wisdom heavily depends on priors such as surface shapes or noise distributions, while learning-based solutions settle for single types of hand-crafted features. Differently, our network is designed to refine the initial normal of each point by extracting additional information from multiple feature representations. To this end, several feature modules are developed and incorporated into Refine-Net by a novel connection module. Besides the overall network architecture of Refine-Net, we propose a new multi-scale fitting patch selection scheme for the initial normal estimation, by absorbing geometry domain knowledge. Also, Refine-Net is a generic normal estimation framework: 1) point normals obtained from other methods can be further refined, and 2) any feature module related to the surface geometric structures can be potentially integrated into the framework. Qualitative and quantitative evaluations demonstrate the clear superiority of Refine-Net over the state-of-the-arts on both synthetic and real-scanned datasets. Our code is available at https://github.com/hrzhou2/refinenet.

연구 동기 및 목표

• 기존 방법이 강성 있는 사전 지식이나 단일 특징 입력에 의존하는 노이즈가 있는 포인트 클라우드에서 정확한 법선 추정 문제를 해결하기 위해.
• 다양한 원천에서 온 초기 법선(기존 학습 기반 방법 포함)을 정제할 수 있는 일반적이고 유연한 프레임워크를 개발하기 위해.
• 국소 좌표, 격자형 높이 거리, 곡률과 같은 다양한 특징 표현을 통합하여 기하학적 정밀도를 향상시키기 위해.
• 기하학적 도메인 지식을 활용하여 최적의 국소 패치를 선택하는 다중 척도 적합 패치 선택(MFPS) 기법을 설계하여 초기 법선 추정의 정확도를 향상시키기 위해.
• 다양한 노이즈 분포와 복잡한 표면 기하학(예: 날카로운 에지, 평평한 영역 포함)에 대해 강건한 성능을 확보하기 위해.

제안 방법

• Refine-Net는 초기 법선을 다양한 기하 도메인의 특징을 추출하고 융합함으로써 처리하는 다중 척도 및 다중 특징 정제 아키텍처를 활용한다.
• 새로운 연결 모듈은 점 좌표, 높이 거리 격자, 곡률 특징 등의 다수 특징 모듈을 공유 표현 공간에 통합하여 법선을 공동으로 정제한다.
• 다중 척도 적합 패치 선택(MFPS) 기법은 기하학적 사전 지식을 활용하여 초기 법선 추정을 위한 최적의 국소 패치를 선택함으로써 노이즈 및 표면 복잡성에 대한 강건성을 향상시킨다.
• 입력 포인트 클라우드를 Kc = 4개의 클러스터로 나누는 클러스터 기반 학습 기법을 통해, 특히 에지 및 모서리와 같은 기하학적으로 도전적인 영역에서 특징 학습을 향상시킨다.
• 새로운 특징 모듈의 플러그-앤플러그 통합을 지원하여 향후 기하학적 사전 지식의 확장성과 유연성을 확보한다.
• 정제된 법선을 기반으로 한 점 업데이트 기반의 노이즈 제거 알고리즘을 사용하여 성능을 검증하며, 법선 일致성과 공간적 근접도를 기반으로 업데이트를 수행한다.

실험 결과

연구 질문

• RQ1 다양한 기하 특징 표현을 융합함으로써 딥러닝 프레임워크가 노이즈가 있는 포인트 클라우드의 법선을 효과적으로 정제할 수 있는가?
• RQ2 다중 척도 및 다중 특징 융합은 단일 특징 또는 단일 척도 접근 방식에 비해 법선 추정 성능를 어떻게 향상시키는가?
• RQ3 Refine-Net은 특히 날카로운 에지를 보존하고 노이즈를 제거하는 데서 다른 방법으로부터 유도된 열악한 초기 법선을 얼마나 향상시킬 수 있는가?
• RQ4 제안된 MFPS 기법이 표준 이웃 적합 방식에 비해 초기 법선 추정에서 더 나은 후속 성능을 이끌어내는가?
• RQ5 Refine-Net은 다양한 노이즈 유형과 실제 스캔 조건에 일반화될 수 있는가?

주요 결과

• Refine-Net은 합성 및 실제 스캔 데이터셋 모두에서 최신 기술 수준의 성능을 달성하여, 기존 방법에 비해 법선 추정 정확도와 강건성에서 뛰어난 성능을 보였다.
• MFPS로 초기화된 법선에 대해 특히 날카로운 에지를 복원하고 평평한 영역에서 진동을 감소시켜 법선 품질을 크게 향상시켰다.
• 단지 점 좌표만을 입력으로 사용할 경우에도 Refine-Net은 높은 품질의 노이즈 제거 법선을 생성하지만, 다중 특징 융합을 통해 성능 향상이 크게 이루어졌다.
• 클러스터 기반 학습 기법은 복잡한 기하학적 구조에서 특징 학습을 향상시키며, Kc = 4 이상의 클러스터에서는 성능 향상이 거의 없었다.
• 반복적 점 업데이트 검증을 통해 Refine-Net을 법선 가이드 모듈로 활용할 경우, 포인트 클라우드의 노이즈 제거 및 표면 재구성에서 뛰어난 성능을 발휘하였다.
• 이 방법은 일반적이고 확장 가능하다: 다양한 원천에서 온 법선을 정제하고 새로운 기하 특징 모듈을 통합할 수 있어 광범위한 적용 가능성을 보였다.