[논문 리뷰] Weighted Multi-projection: 3D Point Cloud Denoising with Estimated Tangent Planes

Chaojing Duan, Siheng Chen외 1명|arXiv (Cornell University)|2018. 07. 01.

3D Shape Modeling and Analysis참고 문헌 14인용 수 5

한 줄 요약

이 논문은 각 점에 대한 국소 탄젠트 평면을 추정하고, 여러 탄젠트 평면에 대한 투영의 가중 평균을 통해 노이즈가 제거된 점들을 재구성하는 새로운 3D 포인트 클라우드 노이즈 제거 방법인 가중 다중 투영(Weighted Multi-projection, WMP)을 제안한다. 이 방법은 ShapeNetCore의 9개 카테고리 전반에서 기존 방법들을 능가하며, 표면 법선 추정 오차에 대한 이론적 분석을 통해 이전 연구보다 더 날카운 bound를 확보한다.

ABSTRACT

As a collection of 3D points sampled from surfaces of objects, a 3D point cloud is widely used in robotics, autonomous driving and augmented reality. Due to the physical limitations of 3D sensing devices, 3D point clouds are usually noisy, which influences subsequent computations, such as surface reconstruction, recognition and many others. To denoise a 3D point cloud, we present a novel algorithm, called weighted multi-projection. Compared to many previous works on denoising, instead of directly smoothing the coordinates of 3D points, we use a two-fold smoothing: We first estimate a local tangent plane at each 3D point and then reconstruct each 3D point by weighted averaging of its projections on multiple tangent planes. We also provide the theoretical analysis for the surface normal estimation and achieve a tighter bound than in a previous work. We validate the empirical performance on the dataset of ShapeNetCore and show that weighted multi-projection outperforms its competitors in all nine classes.

연구 동기 및 목표

• 3D 센서나 복구 파이프라인으로 인해 손상된, 본질적으로 순서가 없고 위상적 구조가 없는 3D 포인트 클라우드의 노이즈 제거 문제를 다루기 위해.
• 메쉬 기반 수축, PDE 기반 과도한 스무딩, 그래프 기반 클러스터링 등의 기존 노이즈 제거 방법의 한계를 극복하기 위해, 탄젠트 평면을 활용한 이중 스무딩 전략을 도입하기 위해.
• 기존 연구 대비 더 날카운 이론적 bound를 제공함으로써 표면 법선 추정 정확도를 향상시키기 위해.
• 세부 구조와 매니폴드 구조를 유지하면서 수직 노이즈 성분을 제거하는 강력하고 기하학적 인식이 가능한 노이즈 제거 알고리즘을 개발하기 위해.

제안 방법

• 지역적 및 전반적인 기하학적 구조를 포착하기 위해 3D 점 좌표에서 그래프를 구축하여, 이웃 기반 분석을 가능하게 한다.
• 각 점의 이웃에 대한 주성분 분석(PCA)을 사용하여 국소 탄젠트 평면을 추정하고, 기저 표면을 근사한다.
• 각 점을 자신의 탄젠트 평면과 이웃 점들의 탄젠트 평면에 투영하여, 다수의 후보 노이즈 제거 위치를 생성한다.
• 모든 투영의 가중 평균을 통해 최종 노이즈 제거된 점을 재구성하며, 이때 가중치는 기하학적 일관성과 거리에 의해 결정된다.
• Davis-Kahan 정리를 활용하여 표면 법선 추정 오차의 이론적 bound를 도출하여, 이전 접근 방식보다 더 날카운 bound를 확보한다.
• 이중 단계 프로세스를 사용한다: 먼저 국소 기하학을 모델링하기 위해 탄젠트 평면 추정을 수행하고, 그 다음 노이즈를 표면에 수직인 방향으로 억제하기 위해 다중 투영 평균을 적용한다.

실험 결과

연구 질문

• RQ1 탄젠트 평면 추정과 다중 투영 평균을 순차적으로 적용하는 이중 스무딩 전략이 직접 좌표 스무딩보다 더 나은 노이즈 제거 성능을 달성할 수 있는가?
• RQ2 제안된 다중 투영 전략이 단일 투영 또는 단일 시간 투영 방법보다 노이즈를 더 효과적으로 감소시키는가?
• RQ3 기존 방법 대비 표면 법선 추정 오차에 대한 이론적 bound를 개선할 수 있는가, 특히 2차원 경우에서?
• RQ4 표준 노이즈 제거 평가 지표를 기준으로 WMP 알고리즘이 다양한 3D 물체 카테고리에서 어떻게 성능을 발휘하는가?
• RQ5 그래프 기반 구조가 클러스터링이나 변형 아티팩트를 유발하지 않으면서도 탄젠트 평면 추정에 얼마나 효과적인가?

주요 결과

• WMP 알고리즘은 ShapeNetCore 데이터셋의 9개 카테고리 전반에서 Chamfer Distance, Hausdorff Distance, Normal Consistency의 세 가지 평가 지표에서 모든 경쟁 방법을 압도한다.
• 이론적 분석을 통해 이전 연구 대비 더 날카운 표면 법선 추정 오차 bound를 확보하였으며, 특히 2차원 경우에서 이는 방법의 강건성을 입증한다.
• 다중 투영 전략은 노이즈를 크게 감소시키면서도 세밀한 기하학적 세부 정보를 유지함을 확인할 수 있었으며, 정성적 비교에서 더 깔끔한 메쉬 재구성 결과를 보였다.
• 탄젠트 평면의 사용은 노이즈의 수직 성분을 효과적으로 제거하여 포인트 클라우드의 정밀도와 표면 일관성을 향상시켰다.
• 직접 노이즈 제거에 그래프를 사용하는 것과는 달리, 그래프를 구조 포착용으로 분리함으로써 그래프 기반 노이즈 제거에서 흔히 발생하는 클러스터링 및 변형 문제를 피했다.
• 실험 결과, 양방향 필터링, PDE 기반, 그래프 기반 노이즈 제거 방법 대비 가중 다중 투영이 물체 기하학을 더 잘 유지하면서 노이즈를 효과적으로 감소시키는 것으로 확인되었다.