[논문 리뷰] PointASNL: Robust Point Clouds Processing using Nonlocal Neural Networks with Adaptive Sampling

Yan Xu, Chaoda Zheng외 3명|arXiv (Cornell University)|2020. 03. 01.

3D Shape Modeling and Analysis참고 문헌 50인용 수 49

한 줄 요약

PointASNL은 Adaptive Sampling 및 로컬-논로컬 모듈을 도입해 노이즈가 많고 비구조적 포인트 클라우드를 견고하게 처리하고, 합성 실내/실외 데이터셋에서 분류 및 분할에 대해 최첨단 성능을 달성한다.

ABSTRACT

Raw point clouds data inevitably contains outliers or noise through acquisition from 3D sensors or reconstruction algorithms. In this paper, we present a novel end-to-end network for robust point clouds processing, named PointASNL, which can deal with point clouds with noise effectively. The key component in our approach is the adaptive sampling (AS) module. It first re-weights the neighbors around the initial sampled points from farthest point sampling (FPS), and then adaptively adjusts the sampled points beyond the entire point cloud. Our AS module can not only benefit the feature learning of point clouds, but also ease the biased effect of outliers. To further capture the neighbor and long-range dependencies of the sampled point, we proposed a local-nonlocal (L-NL) module inspired by the nonlocal operation. Such L-NL module enables the learning process insensitive to noise. Extensive experiments verify the robustness and superiority of our approach in point clouds processing tasks regardless of synthesis data, indoor data, and outdoor data with or without noise. Specifically, PointASNL achieves state-of-the-art robust performance for classification and segmentation tasks on all datasets, and significantly outperforms previous methods on real-world outdoor SemanticKITTI dataset with considerate noise. Our code is released through https://github.com/yanx27/PointASNL.

연구 동기 및 목표

• 실세계 센서로부터의 노이즈와 이상치에 대한 포인트 클라우드 처리의 강인성을 다룬다.
• 본질 기하학에 맞게 샘플링된 포인트를 조정하는 엔드투엔드 아키텍처 개발.
• 로컬 이웃 정보와 긴거리 의존성을 포착한다.
• 다양한 데이터셋(합성, 실내, 실외)에서 향상된 성능을 입증한다.

제안 방법

• 적응 샘플링(AS) 모듈은 FPS를 넘어 샘플링된 포인트의 가중치를 다시 부여하고 이동시켜 내재 기하학에 맞추고 이상치 영향을 줄인다.
• 로컬-논로컬(L-NL) 모듈은 포인트 로컬(PL) 셀과 포인트 논로컬(PNL) 셀을 결합해 로컬과 전역 맥락을 융합한다.
• 포인트 논로컬 셀은 샘플링된 포인트에 대한 반응을 모든 포인트에 대한 가중합으로 계산하여 장거리 의존성을 인코딩한다.
• 플러그 가능한 PL 및 PNL 셀은 L-NL 프레임워크 내에서 유연한 로컬/전역 특징 학습을 가능하게 한다.
• 계층적 PointASNL 구조는 분류와 분할을 위해 층 전반에 걸쳐 AS와 L-NL을 통합한다.
• 소프트 어텐션 기반 특징 가중치 부여 및 미분가능한 샘플링은 엔드투엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 노이즈/이상치가 있는 상황에서 포인트 클라우드 처리의 강인성을 개선할 수 있는가?
• RQ2 비지역화된 다중 스케일 컨텍스트 모듈이 포인트 클라우드의 장거리 의존성 포착으로 학습을 향상시킬 수 있는가?
• RQ3 적응 샘플링과 로컬 및 비 로컬 특징 집계의 결합이 다양한 데이터셋에서 향상된 분류 및 분할 성능을 제공하는가?
• RQ4 PointASNL은 노이즈 조건에서 합성 및 실제 외부 데이터셋에서 최첨단 방법들에 비해 어떤 성능을 보이는가?

주요 결과

• PointASNL은 합성, 실내, 실외 데이터셋 전반에서 분류 및 분할에서 최첨단 강인성과 정확도를 달성한다.
• 적응 샘플링은 이상치에 대한 민감도를 줄이고 샘플 포인트가 내재 기하를 더 잘 반영하도록 한다.
• 로컬-논로컬 모듈은 로컬 이웃 정보와 글로벌 맥락을 효과적으로 융합해 노이즈 하에서의 학습을 개선한다.
• PNL은 전체 포인트 세트를 대상으로 주의(attention)해 장거리 의존성 모델링을 가능하게 하여 희소하고 노이즈가 있는 데이터에 대한 강인성을 향상시킨다.
• 고찰 연구에서 PL, PNL, AS를 결합할 때 로컬 또는 글로벌 특징만 사용할 때보다 상당한 이득이 나타난다.
• Outdoor SemanticKITTI에서 PointASNL은 노이즈 조건에서 분할에서 경쟁 방법들보다 현저히 우수하다.