[논문 리뷰] Deep Feature-preserving Normal Estimation for Point Cloud Filtering

Dening Lu, Xuequan Lu외 2명|arXiv (Cornell University)|2020. 04. 24.

3D Shape Modeling and Analysis참고 문헌 41인용 수 9

한 줄 요약

이 논문은 노이즈가 있는 포인트 클라우드에서 특징을 유지하는 법선 추정을 위한 딥러닝 기반 방법을 제안한다. 이는 포인트를 특징 및 비특징 카테고리로 분류한 후 각각 별도로 법선 추정 네트워크를 훈련하는 두 단계 훈련 파이프라인을 사용한다. 이 방법은 반복적으로 법선을 추정하고 포인트 위치를 업데이트하며, 벤치마크 데이터셋에서 MSAE가 0.59, RMSE가 0.77에 이르는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Point cloud filtering, the main bottleneck of which is removing noise (outliers) while preserving geometric features, is a fundamental problem in 3D field. The two-step schemes involving normal estimation and position update have been shown to produce promising results. Nevertheless, the current normal estimation methods including optimization ones and deep learning ones, often either have limited automation or cannot preserve sharp features. In this paper, we propose a novel feature-preserving normal estimation method for point cloud filtering with preserving geometric features. It is a learning method and thus achieves automatic prediction for normals. For training phase, we first generate patch based samples which are then fed to a classification network to classify feature and non-feature points. We finally train the samples of feature and non-feature points separately, to achieve decent results. Regarding testing, given a noisy point cloud, its normals can be automatically estimated. For further point cloud filtering, we iterate the above normal estimation and a current position update algorithm for a few times. Various experiments demonstrate that our method outperforms state-of-the-art normal estimation methods and point cloud filtering techniques, in terms of both quality and quantity.

연구 동기 및 목표

• 노이즈 제거를 동시에 날카로운 기하학적 특징을 유지하는 포인트 클라우드 필터링의 과제를 해결하기 위해.
• 기존 최적화 기반 및 딥러닝 기반 법선 추정 방법의 한계를 극복하기 위해, 일반적으로 특징을 유지하지 못하거나 수동 매개변수 조정이 필요한 점을 해결하기 위해.
• 딥러닝을 활용한 종단 간(end-to-end), 자동화되고 특징 인식 기반의 법선 추정 프레임워크를 개발하기 위해.
• 다양한 포인트 클라우드 밀도 및 노이즈 수준에서 견고한 성능을 확보하기 위해.
• 반복적 위치 업데이트와 함께 특징 유지 법선 추정을 통합하여 포인트 클라우드 필터링 품질을 향상시키기 위해.

제안 방법

• 노이즈가 있는 포인트 클라우드에서 패치 기반 훈련 샘플을 생성하고, 특징 포인트(이방향성)와 비특징 포인트(등방성)를 구분하는 분류 네트워크를 사용한다.
• 기하학적 세부 정보를 추정 과정에서 유지하기 위해 특징 포인트 및 비특징 포인트에 대해 별도의 법선 추정 네트워크를 훈련한다.
• 추론 과정에서, 훈련된 네트워크를 사용해 입력 노이즈가 있는 포인트 클라우드의 법선을 자동으로 예측한다.
• 추정된 법선을 기반으로 위치 업데이트 알고리즘을 사용해 포인트 위치를 반복적으로 업데이트하며, 다중 반복을 통해 필터링 품질을 향상시킨다.
• 밀도 변화에 대한 강건성을 향상시키기 위해 고정된 반경과 가우시안 가중 평균화를 사용한 고도 맵 생성을 적용한다.
• 포인트 클라우드 처리에 PointNet 방식을 적용하고, 고도 맵에 2D CNN을 활용하여 두 표현 방식을 융합해 기능 학습을 향상시킨다.

실험 결과

연구 질문

• RQ1 기존 최적화 기반 또는 학습 기반 접근 방식에 비해 딥러닝 기반 법선 추정 방법이 노이즈가 있는 포인트 클라우드에서 날카로운 기하학적 특징을 더 효과적으로 유지할 수 있는가?
• RQ2 특징 포인트 및 비특징 포인트에 대해 법선 추정 네트워크를 별도로 훈련하는 것이 필터링 과정에서 기하학적 정밀도를 향상시키는 데 어떤 영향을 미치는가?
• RQ3 제안된 방법이 다양한 포인트 클라우드 밀도 및 노이즈 수준에 대해 얼마나 일반화되는가?
• RQ4 반복적 법선 추정 및 위치 업데이트가 단일 단계 방법에 비해 훨씬 우수한 필터링 결과를 도출할 수 있는가?
• RQ5 특징 포인트 대비 비특징 포인트의 분류가 법선 추정의 정확도 및 강건성에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 벤치마크 데이터셋에서 평균 제곱 각도 오차(MSAE)가 0.59를 기록하며, PointCleanNet(MSAE: 1.14) 및 GPF(MSAE: 1.73)와 같은 최신 기술 수준의 방법들보다 뚜렷이 뛰어나다.
• 필터링 작업에서 RMSE가 0.77를 기록하여 PointCleanNet(RMSE: 1.84) 및 RIMLS(RMSE: 1.44)에 비해 뛰어난 기하학적 정밀도를 보여준다.
• 특징 포인트의 분류 정확도가 높으며, 이는 직접적으로 향상된 법선 추정 품질과 관련이 있어, 포인트 분류의 중요성을 확인한다.
• 밀도 변화에 대해 강건성을 보이며, 10K, 50K, 100K 포인트로 측정된 모든 밀도에서 PointCleanNet을 일관되게 능가한다.
• 이상치 처리에 대해 3% 및 6% 이상치 수준에서 잘 작동하지만, 9% 이상치 수준에서는 성능 저하가 발생하여 심한 노이즈에 대한 한계를 보여준다.
• 시각적 비교를 통해 기하학적 복잡도가 높은 CAD 유사 모델에서 기존 기법들에 비해 날카로운 모서리와 에지가 더 잘 유지되는 것으로 확인되었다.