[논문 리뷰] RandLA-Net: Efficient Semantic Segmentation of Large-Scale Point Clouds

Qingyong Hu, Bo Yang외 6명|arXiv (Cornell University)|2019. 11. 25.

3D Shape Modeling and Analysis참고 문헌 68인용 수 133

한 줄 요약

RandLA-Net은 무작위 샘플링과 경량 로컬 피처 집계기를 활용하여 대규모 3D 포인트 클라우드에 대해 포인트 단위 시맨틱 세분화를 수행하며, Semantic3D 및 SemanticKITTI에서 최첨단 성능을 달성하는 동시에 이전 방법들보다 훨씬 빠르고 메모리 효율적이다.

ABSTRACT

We study the problem of efficient semantic segmentation for large-scale 3D point clouds. By relying on expensive sampling techniques or computationally heavy pre/post-processing steps, most existing approaches are only able to be trained and operate over small-scale point clouds. In this paper, we introduce RandLA-Net, an efficient and lightweight neural architecture to directly infer per-point semantics for large-scale point clouds. The key to our approach is to use random point sampling instead of more complex point selection approaches. Although remarkably computation and memory efficient, random sampling can discard key features by chance. To overcome this, we introduce a novel local feature aggregation module to progressively increase the receptive field for each 3D point, thereby effectively preserving geometric details. Extensive experiments show that our RandLA-Net can process 1 million points in a single pass with up to 200X faster than existing approaches. Moreover, our RandLA-Net clearly surpasses state-of-the-art approaches for semantic segmentation on two large-scale benchmarks Semantic3D and SemanticKITTI.

연구 동기 및 목표

• 대규모의 불규칙한 3D 포인트 클라우드에 대해 무거운 전처리/후처리 없이도 효율적인 시맨틱 세분화를 목표로 한다.
• 랜덤 샘플링이 강력한 로컬 피처 집게와 함께 사용할 때 효과적일 수 있음을 입증한다.
• LocSE(LocSE 기반 로컬 공간 인코딩)와 주의 집중 풀링(attentive pooling)을 도입하여 다운샘플링 중에도 기하학 정보를 보존한다.
• RandLA-Net이 벤치마크에서 이전 방법들보다 속도와 메모리 사용 측면에서 현저한 개선을 달성하며 정확도도 유지하거나 상회함을 보여준다.

제안 방법

• 대규모 포인트 클라우드를 단일 패스에서 무작위 샘플링으로 다운샘플링하여 비싼 FPS/IDIS 기반 방법을 피한다.
• 상대 이웃 기하학을 명시적으로 임베딩하기 위한 Local Spatial Encoding (LocSE) 유닛을 도입한다.
• 주변 피처를 적응적으로 가중하고 결합하기 위한 주의 집중 풀링(attentive pooling)을 적용한다.
• LocSE와 주의 집중 풀링을 확장된 수용 영역으로 점차 확장시키는 확장된 잔차 블록으로 쌓아 들여다보기를 확대한다.
• 그래프 구성이나 보셀라이제이션 단계 없이 경량 공유 MLP로 네트워크를 구성한다.
• 고정 소수점 하위 집합(~1e5 포인트)에서 Adam으로 엔드투엔드 학습하고, 전처리/후처리 없이 전체 구름에서 테스트한다.

실험 결과

연구 질문

• RQ1 랜덤 샘플링이 대규모 멀티-밀리언 포인트 구름의 실시간 또는 준실시간 시맨틱 세분화를 가능하게 할 수 있는가(heavy preprocessing 없이)?
• RQ2 랜덤 샘플링이 데이터를 다운샘플링할 때 로컬 기하학 및 피처를 어떻게 보존할 수 있는가?
• RQ3 LocSE와 attentive pooling의 확장된 잔차 구성은 대규모 포인트 구름에서 수용 영역을 효과적으로 확장하는가?
• RQ4 Semantic3D 및 SemanticKITTI에서 RandLA-Net의 효율성 및 정확도는 최첨단 방법들과 비교하여 어떤 무게를 가지는가?

주요 결과

• RandLA-Net은 단일 패스에서 최대 1백만 포인트를 처리할 수 있으며 대규모 포인트 구름에서 기존 방법들보다 최대 200× 더 빠르다.
• 전처리/후처리 없이 대규모 포인트 구름(예: 최대 1e6 포인트)을 직접 처리하고 Semantic3D 및 SemanticKITTI에서 최첨단 결과를 달성한다.
• 1e5 포인트 구름에 대해 0.04초의 시연 속도와 Sequence 08(SemanticKITTI)에서 22 FPS를 달성해 강력한 실시간 능력을 보여준다.
• RandLA-Net은 Semantic3D에서 77.4 mIoU, SemanticKITTI에서 53.9 mIoU(입력 포인트 50k일 때)를 달성하며, 많은 베이스라인보다 우수하고 매개변수 수는 더 적다.
• Abalation 연구를 통해 LocSE 또는 주의 모듈을 제거하면 성능이 크게 저하되어 로컬 기하학 인코딩과 적응형 피처 가중치의 효과를 확인했다.