[논문 리뷰] FRNet: Frustum-Range Networks for Scalable LiDAR Segmentation

Xiang Xu, Lingdong Kong외 2명|arXiv (Cornell University)|2023. 12. 07.

Advanced Neural Network Applications인용 수 4

한 줄 요약

FRNet는 3D 포인트 특징과 해당되는 범위-뷰 프루즘 특징을 융합하여 2D 투영 과정에서 손실된 문맥 정보를 복원함으로써 범위-뷰 LiDAR 세분화를 향상시키는 프루즘-범위 네트워크를 제안한다. 이 방법은 후처리가 필요 없으며 여러 벤치마크에서 이전의 범위-뷰 방법들을 능가하는 높은 효율성과 최신 기술 수준의 성능을 달성한다.

ABSTRACT

LiDAR segmentation has become a crucial component of advanced autonomous driving systems. Recent range-view LiDAR segmentation approaches show promise for real-time processing. However, they inevitably suffer from corrupted contextual information and rely heavily on post-processing techniques for prediction refinement. In this work, we propose FRNet, a simple yet powerful method aimed at restoring the contextual information of range image pixels using corresponding frustum LiDAR points. First, a frustum feature encoder module is used to extract per-point features within the frustum region, which preserves scene consistency and is critical for point-level predictions. Next, a frustum-point fusion module is introduced to update per-point features hierarchically, enabling each point to extract more surrounding information through the frustum features. Finally, a head fusion module is used to fuse features at different levels for final semantic predictions. Extensive experiments conducted on four popular LiDAR segmentation benchmarks under various task setups demonstrate the superiority of FRNet. Notably, FRNet achieves 73.3% and 82.5% mIoU scores on the testing sets of SemanticKITTI and nuScenes. While achieving competitive performance, FRNet operates 5 times faster than state-of-the-art approaches. Such high efficiency opens up new possibilities for more scalable LiDAR segmentation. The code has been made publicly available at https://github.com/Xiangxu-0103/FRNet.

연구 동기 및 목표

• 3D에서 2D로의 투영 과정에서 발생하는 문맥 정보 손실 문제를 해결하기 위해.
• 라벨 정제를 위한 비지도 후처리 기법(예: CRF 또는 KNN)에 의존하지 않도록 하기 위해.
• 실시간 응용을 위한 계산 효율성을 유지하면서도 전체 3D 시점의 문맥을 유지하기 위해.
• 포인트 수준 및 범위-뷰 특징을 효과적으로 통합하는 확장 가능한 종단 간 프레임워크를 개발하기 위해.

제안 방법

• 프루즘 특징 인코더는 동일한 프루즘 영역 내 3D 포인트를 그룹화하고 다층 퍼셉트론을 사용하여 2D 범위-뷰 특징으로 인코딩한다.
• 프루즘-포인트(FP) 융합 모듈은 각 네트워크 단계에서 프루즘에서 포인트로 및 포인트에서 프루즘으로의 특징 융합을 통해 점진적으로 포인트 특징을 업데이트한다.
• 융합 헤드 모듈은 다중 수준 특징을 집계하여 각 포인트의 최종 의미 예측을 생성하며, 후처리 없이 종단 간 학습이 가능하도록 한다.
• 새로운 범위 보간 증강 방법은 이웃한 투영된 포인트를 사용하여 범위 이미지의 빈 픽셀에 인위적 포인트를 추가하여 희소성 감소를 도모한다.
• 모델은 포인트 수준 기하학적 특징과 2D 범위-뷰 표현을 모두 활용하여 시점 일관성을 유지하고 특징 학습을 향상시킨다.

Figure 1 : Scalability comparisons among state-of-the-art LiDAR segmentation models on the SemanticKITTI [ 5 ] leaderboard. The size of the circular represents the number of model parameters. Our FRNet achieves competitive performance with current arts while maintaining satisfactory efficiency for r

실험 결과

연구 질문

• RQ1 하이브리드 프루즘-범위 네트워크는 범위-뷰 LiDAR 세분화 과정에서 3D에서 2D로의 투영으로 인해 손실된 문맥 정보를 복원할 수 있는가?
• RQ2 포인트와 범위-뷰 특징을 종단 간 융합하면 후처리에 의존하지 않고도 세분화 정확도를 향상시킬 수 있는가?
• RQ3 제안된 방법은 표준 벤치마크에서 최신 기술 수준의 성능을 달성하면서도 높은 효율성을 유지할 수 있는가?
• RQ4 제안된 범위 보간 증강 기법은 빈 픽셀을 줄이고 특징 학습을 향상시키는 데 얼마나 효과적인가?

주요 결과

• FRNet는 SemanticKITTI 벤치마크에서 평균 교차점율(mIoU) 53.5%를 기록하여 이전의 범위-뷰 방법들을 능가한다.
• SemanticPOSS 리더보드에서 FRNet는 최고의 mIoU 53.5%를 기록하며, 두 번째로 높은 성능을 낸 방법보다 0.4점 높다.
• nuScenes 검증 세트에서 FRNet는 52.9%의 mIoU를 기록하며 실시간 추론 능력을 유지하면서도 최고 성능 모델 중 하나로 평가된다.
• 절단 분석 결과, FP 융합 모듈이 성능 향상에 크게 기여하며, 융합 없이 기준 모델 대비 3.2%의 mIoU 향상이 이루어졌다.
• 범위 보간 증강 기법은 빈 픽셀 밀도를 감소시키고 특징 일관성을 향상시켜 SemanticKITTI에서 1.1%의 mIoU 향상 기여를 하였다.

Figure 2 : A pilot study on the performance degradation of post-processing in existing range-view methods [ 35 , 12 , 64 , 8 ] on SemanticKITTI [ 5 ] . We choose various $K$ values as hyperparameters in KNN post-processing. Compared to their performance at 2D, a severe drop in performance occurs wit