[논문 리뷰] Total Denoising: Unsupervised Learning of 3D Point Cloud Cleaning

Pedro Hermosilla, Tobias Ritschel외 1명|arXiv (Cornell University)|2019. 04. 16.

Optical measurement and interference techniques참고 문헌 29인용 수 26

한 줄 요약

이 논문은 정제된 데이터나 쌍화된 노이즈-정제 예제가 필요 없이, 오직 노이즈가 있는 포인트 클라우드에서 직접 학습하는 비지도 학습 기반 3D 포인트 클라우드 정제를 위한 딥러닝 방법을 제안한다. 자기지도 학습 정제 네트워크에 공간적 근접성과 외관 기반 사전 지식을 도입함으로써, 동일한 학습 데이터량을 사용할 때도 지도 학습 방법과 비교해 성능을 낼 수 있으며, 실제 및 시뮬레이션된 데이터에서 비지도 기반 기준선과 일부 지도 학습 방법을 능가한다.

ABSTRACT

We show that denoising of 3D point clouds can be learned unsupervised, directly from noisy 3D point cloud data only. This is achieved by extending recent ideas from learning of unsupervised image denoisers to unstructured 3D point clouds. Unsupervised image denoisers operate under the assumption that a noisy pixel observation is a random realization of a distribution around a clean pixel value, which allows appropriate learning on this distribution to eventually converge to the correct value. Regrettably, this assumption is not valid for unstructured points: 3D point clouds are subject to total noise, i. e., deviations in all coordinates, with no reliable pixel grid. Thus, an observation can be the realization of an entire manifold of clean 3D points, which makes a naïve extension of unsupervised image denoisers to 3D point clouds impractical. Overcoming this, we introduce a spatial prior term, that steers converges to the unique closest out of the many possible modes on a manifold. Our results demonstrate unsupervised denoising performance similar to that of supervised learning with clean data when given enough training examples - whereby we do not need any pairs of noisy and clean training data.

연구 동기 및 목표

• 정제된 진실값 데이터나 쌍화된 노이즈-정제 예제가 필요 없이 3D 포인트 클라우드 정제를 가능하게 하기 위해.
• 2D 이미지와 달리 공간 좌표와 외관이 모두 손상되는 '전체 노이즈' 문제를 해결하기 위해.
• 포인트 클라우드의 내재된 구조를 공간적 및 외관 사전 지식을 통해 활용하는 자기지도 학습 프레임워크를 개발하기 위해.
• 충분한 학습 데이터가 제공될 경우 비지도 정제가 지도 학습 성능을 따라하거나 능가할 수 있음을 입증하기 위해.
• 데이터 재샘플링 전략을 통해 기존의 지도 학습 정제기들을 비지도 동작으로 쉽게 업그레이드할 수 있도록 하기 위해.

제안 방법

• 노이즈가 있는 입력 포인트 클라우드에서 자기 자신으로 회귀함으로써 깨끗한 포인트 클라우드 좌표를 예측하는 딥 네트워크를 학습하며, 이미지에서 Noise2Void와 유사한 '블라인드 스팟' 아키텍처를 사용한다.
• 전체 노이즈로 인한 모호성을 해결하기 위해, 기저 표면 다양체 상에서 가장 가까운 유효한 점으로 향하도록 도와주는 공간적 근접성 사전 지식을 도입한다.
• 색상 정보를 선택적으로 포함함으로써 국소 강도나 색상 일관성을 활용함으로써, 더 정교한 예측을 위한 외관 기반 사전 지식을 사용한다.
• 예측된 점과 입력 점 사이의 L2 거리 최소화를 목표로 하는 재구성 손실을 사용하여 네트워크를 엔드 투 엔드로 학습하며, 이 사전 지식은 손실 함수에 통합된다.
• 아키텍처에 종속되지 않으며, 입력을 마치 깨끗한 데이터인 것처럼 재샘플링함으로써, 어떤 지도 학습 정제기에도 적용 가능하여 비지도 미세조정을 가능하게 한다.
• 확장성과 효율성이 뛰어나며, 반복적 정제 없이 단일 순방향 전파로 대규모 포인트 클라우드를 처리할 수 있다.

실험 결과

연구 질문

• RQ1 오직 노이즈가 있는 포인트 클라우드만을 사용하여 비지도 방식으로 3D 포인트 클라우드 정제를 효과적으로 학습할 수 있는가?
• RQ2 모든 좌표가 손상되는 '전체 노이즈' 상황에서 발생하는 모호성을 자기지도 학습에서 어떻게 해결할 수 있는가?
• RQ3 공간적 및 외관 사전 지식은 비지도 정제 성능 향상에 어떤 역할을 하는가?
• RQ4 동일한 양의 학습 데이터를 제공받을 경우, 비지도 정제 방법이 지도 학습 방법을 능가할 수 있는가?
• RQ5 아키텍처나 지도 학습 방식을 변경하지 않고도 지도 학습 정제기를 비지도 동작으로 업그레이드할 수 있는가?

주요 결과

• 가우시안 노이즈가 가미된 시뮬레이션 데이터에서, 제안된 방법은 평균 오차 0.329를 기록했으며, 동일한 학습 데이터 크기(1,200만 점)를 사용한 지도 학습 기준선보다 뛰어난 성능을 보였다.
• 고급 시뮬레이션 스캐너 노이즈에서, 공간적 및 외관 사전 지식을 모두 포함한 전체 방법은 평균 오차 0.329를 기록했으며, 평균 필터(0.393)와 양방향 필터(0.362)와 같은 비지도 기준선보다 뚜렷이 뛰어났다.
• 절단 실험 결과, 공간 사전 지식을 제거할 경우 단순 필터 수준의 성능에 가까워지며, 이는 표면 다양체의 모호성을 해결하는 데 있어 핵심적인 역할을 한다는 것을 시사한다.
• 외관 사전 지식을 포함할 경우, 노이즈 유형, 데이터 양, 노이즈 수준에 관계없이 성능이 일관되게 향상되며, 지도 학습 방법에 가까운 또는 그 이상의 성능을 기록한다.
• 실제 모바일 레이저 스캐닝 데이터(Paris-rue-Madame)에서, 진실값이 없음에도 불구하고 노이즈를 효과적으로 제거하고 날카로운 에지 및 균일한 샘플링을 유지하였다.
• 기존의 지도 학습 정제기인 PointCleanNet을 비지도 버전으로 업그레이드할 수 있었으며, 아키텍처 변경 없이 약간 더 뛰어난 성능(오차 1.34 vs. 1.36)을 기록하였다.