[논문 리뷰] PolarStream: Streaming Lidar Object Detection and Segmentation with Polar Pillars

Qi Chen, Sourabh Vora외 1명|arXiv (Cornell University)|2021. 06. 14.

Remote Sensing and LiDAR Applications참고 문헌 33인용 수 8

한 줄 요약

PolarStream는 휠라인형 포인트 클라우드 섹터를 효율적으로 표현하기 위해 펄라 플라이어를 사용하는 스트리밍 라이다 인식 프레임워크를 도입한다. 이는 메모리와 계산 자원 낭비를 줄인다. 다중 척도 패딩을 통해 공간적 맥락을 향상시키고, 특징 비틀림을 보정하며 범위 기반 분할 컨볼루션을 통해 펄라 격자 왜곡 문제를 해결하여, nuScenes에서 최신 기술 수준의 성능을 달성하며 비스트리밍 방법보다 낮은 지연 시간을 기록한다.

ABSTRACT

Recent works recognized lidars as an inherently streaming data source and showed that the end-to-end latency of lidar perception models can be reduced significantly by operating on wedge-shaped point cloud sectors rather then the full point cloud. However, due to use of cartesian coordinate systems these methods represent the sectors as rectangular regions, wasting memory and compute. In this work we propose using a polar coordinate system and make two key improvements on this design. First, we increase the spatial context by using multi-scale padding from neighboring sectors: preceding sector from the current scan and/or the following sector from the past scan. Second, we improve the core polar convolutional architecture by introducing feature undistortion and range stratified convolutions. Experimental results on the nuScenes dataset show significant improvements over other streaming based methods. We also achieve comparable results to existing non-streaming methods but with lower latencies. The code and pretrained models are available at \url{https://github.com/motional/polarstream}.

연구 동기 및 목표

• 스트리밍 라이다 인식에서 직사각형 표현 방식의 비효율성을 해결하기 위해, 휠라인형 섹터에서 메모리와 계산 자원 낭비를 줄이기 위해.
• 스캔 간 인접 섹터의 특징을 활용하여 스트리밍 라이다 모델의 공간적 맥락을 향상시키기 위해.
• 3D 검출에서 컨볼루션 연산을 방해하는 펄라 격자 표현의 왜곡 문제를 해결하기 위해.
• 최소한의 지연 시간으로 종단 간 스트리밍 추론을 가능하게 하면서도 높은 정확도의 검출, 세그멘테이션, 팬옵티컬 세그멘테이션 성능을 유지하기 위해.
• 펄라 표현과 카르테시안 격자 표현 간의 성능 격차를 해소하기 위해.

제안 방법

• 직사각형 바쿠올 대신 펄라 플라이어를 사용하여 라이다 섹터를 표현함으로써 메모리와 계산 오버헤드를 감소시키기 위해.
• 현재 스캔의 이전 섹터와 이전 스캔의 다음 섹터의 특징을 포함하여 다중 척도 맥락 패딩을 적용하기 위해.
• 분류 브랜치를 위해 펄라 특징을 기준 카르테시안 공간으로 변환하는 특징 비틀림 보정 모듈을 도입하기 위해.
• 거리 범위에 따라 커널 크기와 정규화를 적응시키는 범위 기반 분할 컨볼루션 및 정규화 레이어를 설계하여 기둥 크기의 변화를 처리하기 위해.
• 스트리밍 파이프라인에서 동시에 3D 객체 검출, 라이다 세그멘테이션, 팬옵티컬 세그멘테이션을 수행하기 위한 다중 작업 모델을 훈련하기 위해.
• 섹터 간 공유된 특징을 갖춘 백본을 사용하여 맥락을 통합하면서도 지연 시간을 최소화하기 위해.

실험 결과

연구 질문

• RQ1 펄라 플라이어는 스트리밍 라이다 섹터에 대해 직사각형 바쿠올보다 더 효율적인 표현을 제공할 수 있는가?
• RQ2 인접 섹터에서의 다중 척도 맥락 패딩은 스트리밍 라이다 인식에서 검출 및 세그멘테이션 성능을 향상시키는가?
• RQ3 특징 비틀림 보정과 범위 기반 분할 컨볼루션은 펄라 격자 기반 3D 검출의 왜곡 문제를 완화시킬 수 있는가?
• RQ4 스트리밍 모델은 비스트리밍 모델과 유사한 성능을 달성하면서 종단 간 지연 시간을 줄일 수 있는가?
• RQ5 단일 모델이 스트리밍 방식으로 3D 검출, 세그멘테이션, 팬옵티컬 세그멘테이션을 동시에 수행할 수 있는가?

주요 결과

• PolarStream는 32개 섹터를 사용할 때 nuScenes 검증 세트에서 팬옵티컬 품질 77.7을 달성하여 이전의 모든 스트리밍 방법을 능가한다.
• 32개 섹터를 사용할 때 PolarStream는 기준 펄라 플라이어 모델 대비 검출 mAP를 5.7포인트 향상시켰다.
• 특징 비틀림 보정과 범위 기반 분할 컨볼루션의 조합은 검출 mAP를 48.2에서 50.3으로 끌어올려 카르테시안 플라이어(50.6)와의 격차를 좁혔다.
• PolarStream는 nuScenes에서 61.4 NDS와 77.7 PQ를 기록하여 최고 수준의 비스트리밍 모델과 동등한 성능을 내지만, 최소 두 배 이상 더 빠른 속도를 기록했다.
• 양방향 맥락 패딩은 전체 스위프트 펄라 플라이어 기준 모델을 초월한 성능 향상을 이끌었으며, 특히 높은 섹터 수(예: 32개 섹터)에서 두드러졌다.
• 제안된 기법들은 런타임에 단지 0.5ms의 추가 오버헤드만을 유발하여 실시간 구현에 적합하다.