[논문 리뷰] Pointfilter: Point Cloud Filtering via Encoder-Decoder Modeling

Dongbo Zhang, Xuequan Lu외 2명|arXiv (Cornell University)|2020. 02. 14.

3D Shape Modeling and Analysis참고 문헌 24인용 수 10

한 줄 요약

Pointfilter는 잡음 제거를 자동으로 수행하면서 날카로운 기하학적 특징을 유지하는 인코더-디코더 아키텍처를 사용하는 딥러닝 기반 포인트 클라우드 필터링 방법을 제안한다. 국소 포인트 이웃 영역에서 변위 벡터를 학습함으로써 수동 파rameter 조정 없이도 시각적 품질과 정량적 지표에서 최신 기술을 초월하는 성능을 달성한다.

ABSTRACT

Point cloud filtering is a fundamental problem in geometry modeling and processing. Despite of significant advancement in recent years, the existing methods still suffer from two issues: 1) they are either designed without preserving sharp features or less robust in feature preservation; and 2) they usually have many parameters and require tedious parameter tuning. In this paper, we propose a novel deep learning approach that automatically and robustly filters point clouds by removing noise and preserving their sharp features. Our point-wise learning architecture consists of an encoder and a decoder. The encoder directly takes points (a point and its neighbors) as input, and learns a latent representation vector which goes through the decoder to relate the ground-truth position with a displacement vector. The trained neural network can automatically generate a set of clean points from a noisy input. Extensive experiments show that our approach outperforms the state-of-the-art deep learning techniques in terms of both visual quality and quantitative error metrics. The source code and dataset can be found at https://github.com/dongbo-BUAA-VR/Pointfilter.

연구 동기 및 목표

• 기존 포인트 클라우드 필터링 기법이 날카로운 특징을 유지하지 못하거나 광범위한 파arameter 조정이 필요한 한계를 해결하기 위해.
• 수동으로 조정하지 않고도 기하학적 무결성을 유지하면서 포인트 클라우드의 잡음을 제거할 수 있는 엔드 투 엔드 딥러닝 프레임워크를 개발하기 위해.
• 국소 이웃 정보를 활용하는 포인트 단위 학습 아키텍처를 설계하여 강력한 특징 유지 성능을 확보하기 위해.
• 학습 과정을 통해 최적의 필터링을 자동으로 학습함으로써 수동 하이퍼파rameter 조정에 대한 의존도를 줄이기 위해.
• 최신 기술 대비 시각적 품질과 정량적 오차 지표에서 뛰어난 성능을 달성하기 위해.

제안 방법

• 모델은 인코더-디코더 신경망 아키텍처를 사용하며, 인코더는 포인트와 그 이웃 포인트들을 처리하여 잠재 표현을 생성한다.
• 잠재 벡터는 디코더를 통해 입력 포인트의 위치를 참값 위치로 보정하는 변위 벡터를 예측하도록 전달된다.
• 예측된 위치와 참값 위치 간의 차이를 최소화하는 손실 함수를 사용하여 네트워크를 엔드 투 엔드 방식으로 학습시킨다.
• 입력 특징은 국소 포인트 이웃 영역에서 구성되며, 이로써 모델이 국소 기하학적 구조를 포착할 수 있다.
• 가벼운 구조이면서도 강건한 아키텍처를 설계하여 과적합을 방지하고 수동 파arameter 조정이 줄어들게 한다.
• 모델은 실제 잡음 패턴에 일반화할 수 있도록, 참값이 있는 합성 잡음 포인트 클라우드에서 학습된다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 인코더-디코더 모델은 포인트 클라우드의 잡음을 효과적으로 제거하면서 날카로운 기하학적 특징을 유지할 수 있는가?
• RQ2 제안된 방법은 기존 최신 기술 대비 정량적 오차 지표와 시각적 품질 측면에서 어떻게 비교되는가?
• RQ3 재학습이나 수동 파arameter 조정 없이도 다양한 유형과 수준의 잡음에 대해 얼마나 잘 일반화되는가?
• RQ4 국소 이웃 인코딩을 사용할 경우, 전역 또는 비국소 접근 방식에 비해 특징 유지 성능이 향상되는가?
• RQ5 최소한의 하이퍼파arameter 조정으로도 높은 성능을 달성할 수 있는가? 이는 실세계 응용에 실용적인가?

주요 결과

• 제안된 Pointfilter 방법은 벤치마크 데이터셋에서 최신 딥러닝 기술 대비 시각적 품질과 정량적 오차 지표에서 모두 뛰어난 성능을 보였다.
• 모델은 다양한 유형과 수준의 잡음에서 강건한 성능을 보이며, 심지어 매우 오염된 입력에서도 날카로운 특징을 유지했다.
• 최소한의 수동 파arameter 조정이 필요하여 실용성과 사용 편의성이 향상되었다.
• 인코더-디코더 프레임워크는 잡음이 있는 입력에서 깨끗한 기하학적 구조를 복원하는 데 효과적으로 변위 벡터를 학습했다.
• 광범위한 아블레이션 연구를 통해 국소 이웃 인코딩이 특징 유지 및 잡음 제거 정확도에 크게 기여하는 것으로 확인되었다.
• 합성 및 실세계 데이터셋에서의 검증을 통해 모델이 실세계 포인트 클라우드로도 잘 일반화됨을 입증했다.