[논문 리뷰] PointCleanNet: Learning to Denoise and Remove Outliers from Dense Point Clouds

Marie‐Julie Rakotosaona, Vittorio La Barbera외 3명|UCL Discovery (University College London)|2019. 01. 04.

Optical measurement and interference techniques참고 문헌 50인용 수 36

한 줄 요약

PointCleanNet은 두 단계의 심층 학습 접근법을 사용하여 먼저 이상치를 제거하고 밀집 포인트 클라우드를 디노이즈하여, 사용자 조정 파라미터 없이 서로 다른 노이즈 수준에서도 강건성을 향상시킵니다.

ABSTRACT

Point clouds obtained with 3D scanners or by image-based reconstruction techniques are often corrupted with significant amount of noise and outliers. Traditional methods for point cloud denoising largely rely on local surface fitting (e.g., jets or MLS surfaces), local or non-local averaging, or on statistical assumptions about the underlying noise model. In contrast, we develop a simple data-driven method for removing outliers and reducing noise in unordered point clouds. We base our approach on a deep learning architecture adapted from PCPNet, which was recently proposed for estimating local 3D shape properties in point clouds. Our method first classifies and discards outlier samples, and then estimates correction vectors that project noisy points onto the original clean surfaces. The approach is efficient and robust to varying amounts of noise and outliers, while being able to handle large densely-sampled point clouds. In our extensive evaluation, both on synthesic and real data, we show an increased robustness to strong noise levels compared to various state-of-the-art methods, enabling accurate surface reconstruction from extremely noisy real data obtained by range scans. Finally, the simplicity and universality of our approach makes it very easy to integrate in any existing geometry processing pipeline.

연구 동기 및 목표

• 다양한 3D 포인트 클라우드의 노이즈에 대해 파라미터 조정이 필요한 전통적 디노이징 방법에 대한 의존도를 줄이고자 하는 동기 부여.
• 무질서한 밀집 포인트 클라우드에서 이상치와 노이즈를 처리하는 데이터 기반의 로버스트한 정리 파이프라인을 개발합니다.
• 이상치 제거와 디노이징을 분리하고 반복적 정제를 가능하게 하는 두 단계 네트워크를 활용합니다.
• 합성 및 실제 데이터에서 최첨단 기반선 대비 향상된 디노이징 및 이상치 제거를 입증합니다.

제안 방법

• 먼저 국부 이상치 탐지 네트워크로 이상치를 버리고, 그다음 두 번째 네트워크로 각 포인트의 변위 벡터를 추정하여 디노이징합니다.
• 각 포인트 주위의 국부 패치에서 작동하도록 PCPNet 아키텍처를 수정한 것에 기반합니다.
• 손실 함수는 표면과의 근접도와 균일한 포인트 분포를 유지하고 클러스터링을 방지하기 위한 정규화를 균형 있게 조정합니다.
• 디노이징 네트워크의 반복은 잔류 노이즈를 점진적으로 줄이고 수렴을 개선하는 데 사용됩니다.
• 합성으로 손상된 페어링된 노이즈-클린 데이터를 사용하여 이상치를 분류하고 변위를 예측하는 학습을 수행합니다.
• 이 접근법은 순열 및 변환에 불변이며 무거운 파라미터 튜닝 없이 밀집 포인트 클라우드에서 작동하도록 설계되었습니다.

실험 결과

연구 질문

• RQ1 두 단계의 데이터 기반 네트워크가 사용자 지정 노이즈 모델 없이도 밀집 포인트 클라우드의 이상치를 제거하고 디노이즈할 수 있는가?
• RQ2 PointCleanNet의 반복 적용이 다양한 노이즈 수준과 아티팩트에서 디노이징 성능을 향상시키는가?
• RQ3 합성 및 실제 데이터 세트에서 디노이징 정확도와 이상치 탐지 측면에서 PointCleanNet이 전통적 및 학습 기반_baseline과 비교하여 어떤 차이를 보이는가?
• RQ4 방법이 다양한 표면 유형에 대해 견고하고 추가 표면 정보 없이 높은 곡률 특징을 보존할 수 있는가?

주요 결과

• PointCleanNet은 다양한 노이즈 수준에서 디노이징 성능이 향상되며, 반복 시 여러 베이스라인보다 우수한 성능을 보임.
• 강한 노이즈 및 이상치에 대한 강건성을 입증하며, 노이즈 변화에 대한 안정성이 최첨단 방법들보다 더 좋음.
• 이상치 제거와 디노이징이 사용자 조정 파라미터 없이 달성되며, 학습된 국부 패치와 수정된 손실 함수를 활용.
• 실세계 스캐닝 데이터에서 잔류 오차가 경쟁 방법에 비해 더 낮은 양적 및 질적 결과를 보임.
• 이 방식은 기존 형상 처리 파이프라인에 쉽게 통합되며 밀집 포인트 클라우드에 적합함.