[논문 리뷰] Non-Local Part-Aware Point Cloud Denoising

Chao Huang, Ruihui Li외 2명|arXiv (Cornell University)|2020. 03. 14.

3D Shape Modeling and Analysis참고 문헌 41인용 수 8

한 줄 요약

이 논문은 3D 포인트 클라우드 노이즈 제거를 위한 비국소(part-aware) 딥러닝 프레임워크를 제안하며, 전체 포인트 클라우드 전역에서 의미적으로 관련된 특징을 포착하기 위해 그래프 어텐션 기반의 비국소 학습 유닛(NLU)을 통해 비국소 자기유사성(self-similarity)을 활용한다. NLUs를 연결하고 표면 재구성과 함께 의미적 파트 손실을 도입함으로써, 합성 데이터와 실제 스캔 데이터 모두에서 최신 기술 수준의 성능을 달성하며, 미세한 기하학적 디테일을 유지하면서 산산이 흩어진 잡음 아티팩트를 피하는 데 성공한다.

ABSTRACT

This paper presents a novel non-local part-aware deep neural network to denoise point clouds by exploring the inherent non-local self-similarity in 3D objects and scenes. Different from existing works that explore small local patches, we design the non-local learning unit (NLU) customized with a graph attention module to adaptively capture non-local semantically-related features over the entire point cloud. To enhance the denoising performance, we cascade a series of NLUs to progressively distill the noise features from the noisy inputs. Further, besides the conventional surface reconstruction loss, we formulate a semantic part loss to regularize the predictions towards the relevant parts and enable denoising in a part-aware manner. Lastly, we performed extensive experiments to evaluate our method, both quantitatively and qualitatively, and demonstrate its superiority over the state-of-the-arts on both synthetic and real-scanned noisy inputs.

연구 동기 및 목표

• 지역적 수신장치 방법이 미세한 기하학적 디테일을 유지하지 못하고 산산이 흩어진 잡음 처리에 실패하는 한계를 해결하기 위해.
• 원거리 영역 간의 장거리, 의미적으로 관련된 특징을 모델링하여 3D 포인트 클라우드 내 임의의 비국소 자기유사성을 활용하기 위해.
• 관련 객체 부위를 향한 예측을 이끌기 위해 파트 인식 손실을 도입함으로써 노이즈 제거 정밀도를 향상시키기 위해.
• 합성 및 실제 스캔 포인트 클라우드를 포함한 다양한 노이즈 수준과 데이터 유형에서 견고한 성능을 달성하기 위해.
• 성능과 계산 효율성의 균형을 확보하기 위해 분석 및 하이퍼파rameter 분석을 통해 달성하기 위해.

제안 방법

• 전체 포인트 클라우드에서 비국소적, 맥락 인식 특징 표현을 계산하기 위해 고유의 그래프 어텐션 모듈을 갖춘 비국소 학습 유닛(NLU)을 제안한다.
• 다중 NLUs를 연결하여 입력에서 점차적으로 노이즈를 제거하고, 계층적 특징 정련을 가능하게 한다.
• 예측이 객체 부위와 일치하도록 정규화하기 위해 의미적 파트 손실을 도입한다. 이는 파트 인식 노이즈 제거를 향상시킨다.
• 의미적 파트 손실을 표준 표면 재구성 손실과 결합하여 기하학적 정밀도와 구조적 일관성에 동시에 최적화한다.
• NLU 내부에서 K-NN 기반 그래프 어텐션 메커니즘을 활용하여 원거리에 위치한 의미적으로 유사한 포인트들의 기여도를 동적으로 가중한다.
• 성능 기여도와 하이퍼파ram터 선택을 검증하기 위해 분석 및 아블레이션 연구를 포함한 다단계 학습 전략을 사용한다 (예: K=16, 4개의 NLUs).

실험 결과

연구 질문

• RQ1 비국소적, 파트 인식 특징 학습이 지역적 수신장치 방법을 초월해 포인트 클라우드 노이즈 제거 성능을 향상시킬 수 있는가?
• RQ2 원거리 영역 간의 장거리, 의미적으로 관련된 특징을 모델링하면 노이즈 제거 품질과 기하학적 디테일 유지에 어떤 영향을 미치는가?
• RQ3 파트 인식 손실이 노이즈 제거된 포인트가 기반 객체 구조와 얼마나 잘 일치하는지에 대해 어느 정도 향상되는가?
• RQ4 성능과 효율성의 균형을 고려할 때 최적의 NLUs 수와 이웃 수치(K)는 얼마인가?
• RQ5 합성 및 실제 스캔 포인트 클라우드 모두에서 제안된 방법이 최신 기술 수준의 접근법과 어떻게 비교되는가?

주요 결과

• 모든 구성 요소(NLU, 파트 손실, 연결된 NLUs 포함)를 갖춘 전체 모델은 1.5% 노이즈가 포함된 합성 데이터에서 최저의 카멘퍼 거리(CD) 2.31 × 10⁻⁴를 기록하며, 모든 베이스라인을 압도한다.
• 그래프 어텐션 유닛을 제거하면 모든 K 설정에서 CD 값이 크게 증가하여, 관련 없는 비국소 특징을 선택하는 데 핵심적인 역할을 한다는 것을 입증한다.
• K를 작은 값에서 20으로 증가시키면 성능 향상이 이루어지며, K=20에서 수렴함을 관찰했고, 정확도와 효율성의 균형을 고려해 K=16을 선택하였다.
• 5개의 NLUs를 사용할 경우 CD가 2.30 × 10⁻⁴로 4개일 때(2.31 × 10⁻⁴)보다 略적으로 향상되지만, 파ram터 수가 55.7K에서 44.6K로 증가하여, 4개의 NLUs 사용이 타당하다고 판단된다.
• 산산이 흩어진 아티팩트를 줄이고, PointCleanNet 및 TotalDenoising보다 뚜렷한 에지 유지 성능이 뛰어나, 특히 Paris-rue-Madame와 같은 실제 스캔 데이터에서 두각한다.
• 아블레이션 연구를 통해 파트 인식 손실과 NLU 모듈이 각각 성능 향상에 기여하며, 둘 다 추가되었을 때 가장 큰 향상이 관찰되었다.