[논문 리뷰] FG-Net: Fast Large-Scale LiDAR Point Clouds Understanding Network Leveraging Correlated Feature Mining and Geometric-Aware Modelling

Kangcheng Liu, Zhi Gao외 2명|arXiv (Cornell University)|2020. 12. 17.

3D Shape Modeling and Analysis참고 문헌 63인용 수 32

한 줄 요약

FG-Net은 보셀화 없이 대규모 LiDAR 포인트 클라우드의 빠르고 정확한 이해를 위한 일반적인 심층 학습 프레임워크로, GTX 1080에서 실시간 성능을 달성합니다.

ABSTRACT

This work presents FG-Net, a general deep learning framework for large-scale point clouds understanding without voxelizations, which achieves accurate and real-time performance with a single NVIDIA GTX 1080 GPU. First, a novel noise and outlier filtering method is designed to facilitate subsequent high-level tasks. For effective understanding purpose, we propose a deep convolutional neural network leveraging correlated feature mining and deformable convolution based geometric-aware modelling, in which the local feature relationships and geometric patterns can be fully exploited. For the efficiency issue, we put forward an inverse density sampling operation and a feature pyramid based residual learning strategy to save the computational cost and memory consumption respectively. Extensive experiments on real-world challenging datasets demonstrated that our approaches outperform state-of-the-art approaches in terms of accuracy and efficiency. Moreover, weakly supervised transfer learning is also conducted to demonstrate the generalization capacity of our method.

연구 동기 및 목표

• LiDAR 포인트 클라우드의 노이즈와 이상치를 해결하여 다운스트림 이해 작업을 개선한다.
• 대규모 장면을 위한 상관된 특징 마이닝과 변형 가능한 기하학 모델링을 활용하는 포인트 기반 네트워크를 개발한다.
• 역밀도 샘플링과 특징 피라미드 잔차 아키텍처를 통해 효율성을 향상시킨다.
• 대규모 포인트 클라우드에서 실시간 추론을 달성하고 약하게 감독되는 전이 학습을 통한 일반화를 입증한다.

제안 방법

• 포인트 클라우드를 사전 정제하기 위해 Radius 및 Gaussian Distribution Based 노이즈 및 이상치 필터링을 도입한다.
• 세 가지 하부구성요소를 가진 FG-Conv 모듈을 제안한다: Pointwise Correlated Features Mining (PFM), Geometric Convolutional Modelling (GCM), 그리고 Attentional Aggregation (AG).
• 로컬 기하학적 구조에 적응하도록 변형 가능한 3D 커널을 사용하여 견고한 로컬 기하학 모델링을 실현한다.
• 이웃 간의 로컬 및 비로컬 특징을 융합하기 위해 어텐션 메커니즘을 적용한다.
• 다중 해상도 특징을 효율적으로 융합하기 위한 feature pyramid residual 학습 프레임워크를 구현한다.
• 장거리 의존성을 포착하고 로컬 특징을 보완하기 위해 글로벌 self-attention 모듈을 도입한다.

실험 결과

연구 질문

• RQ1 FG-Net은 대규모 LiDAR 데이터셋에서 의미 분할(semantic segmentation) 및 객체 분류의 정확도 측면에서 어떻게 성능을 보이나요?
• RQ2 FG-Net은 보셀화 없이 표준 GPU에서 실시간 또는 거의 실시간 추론을 달성할 수 있나요?
• RQ3 PFM, GCM 및 attentional aggregation 구성 요소가 기본 포인트 기반 방법에 비해 측정 가능한 이점을 제공하나요?
• RQ4 FG-Net은 약하게 감독되는 전이 학습을 통해 본 적 없는 장면에 얼마나 잘 일반화되나요?
• RQ5 노이즈/이상치 필터링 및 역밀도 샘플링이 최종 성능에 미치는 영향은 무엇인가요?

주요 결과

• FG-Net은 도전적인 실제 데이터셋에서 정확도와 효율성 면에서 최신 방법들을 능가합니다.
• 모델은 GTX 1080 GPU에서 실시간 세그먼테이션 성능(예: 0.021s per 1e5 points)을 달성합니다.
• 빠른 노이즈/이상치 필터링 방법(0.61s per 1e6 points)이 강건성과 다운스트림 성능을 향상시킵니다.
• 약하게 감독된 전이 학습은 새로운 장면에 일반화를 입증합니다.
• 특징 피라미드 잔차 아키텍처는 정확도를 희생하지 않으면서 메모리 효율적인 다중 스케일 융합을 가능하게 합니다.