[논문 리뷰] Streaming Object Detection for 3-D Point Clouds

Wei Han, Zhengdong Zhang외 8명|arXiv (Cornell University)|2020. 05. 04.

Advanced Neural Network Applications참고 문헌 65인용 수 6

한 줄 요약

이 논문은 도착하는 데이터를 순차적으로 처리함으로써 기존 배치 처리 방식 대비 최대 15배 빠른 지연 시간을 달성하는 3D LiDAR 포인트 클라우드를 위한 스트리밍 객체 검출 프레임워크를 제안한다. 단일 단계 검출 아키텍처에 국소화된 수신 필드, 상태 기반 NMS, 그리고 순환 시간 모델링을 통합함으로써, 상태 기반 mAP(보행자 기준 60.1)를 달성하면서도 피크 계산 부담을 크게 줄이고 추론 효율성을 향상시켰다.

ABSTRACT

Autonomous vehicles operate in a dynamic environment, where the speed with which a vehicle can perceive and react impacts the safety and efficacy of the system. LiDAR provides a prominent sensory modality that informs many existing perceptual systems including object detection, segmentation, motion estimation, and action recognition. The latency for perceptual systems based on point cloud data can be dominated by the amount of time for a complete rotational scan (e.g. 100 ms). This built-in data capture latency is artificial, and based on treating the point cloud as a camera image in order to leverage camera-inspired architectures. However, unlike camera sensors, most LiDAR point cloud data is natively a streaming data source in which laser reflections are sequentially recorded based on the precession of the laser beam. In this work, we explore how to build an object detector that removes this artificial latency constraint, and instead operates on native streaming data in order to significantly reduce latency. This approach has the added benefit of reducing the peak computational burden on inference hardware by spreading the computation over the acquisition time for a scan. We demonstrate a family of streaming detection systems based on sequential modeling through a series of modifications to the traditional detection meta-architecture. We highlight how this model may achieve competitive if not superior predictive performance with state-of-the-art, traditional non-streaming detection systems while achieving significant latency gains (e.g. 1/15'th - 1/3'rd of peak latency). Our results show that operating on LiDAR data in its native streaming formulation offers several advantages for self driving object detection -- advantages that we hope will be useful for any LiDAR perception system where minimizing latency is critical for safe and efficient operation.

연구 동기 및 목표

• 전체 LiDAR 스캔 완료를 기다리는 인위적 지연을 제거하기 위해 포인트 클라우드를 스트리밍 데이터로 처리함으로써 실시간 처리를 가능하게 한다.
• 스캔 기간 동안 추론을 분산시켜 피크 계산 부담을 줄인다.
• 비스트리밍 기준선 대비 검출 정확도(mAP)를 유지하거나 향상시킨다.
• 자율주행 차량을 위한 실시간, 저지연 인식을 가능하게 하기 위해 원천 LiDAR 데이터 스트리밍을 활용한다.
• 제한된 계산 자원 내에서 스트리밍 아키텍처가 비스트리밍 모델을 능가할 수 있음을 입증한다.

제안 방법

• 전체 360도 회전을 기다리지 않고, 스캔 당 4~64개의 시간 슬라이스로 나누어 포인트 클라우드를 순차적으로 처리한다.
• 현재 및 최근 스캔 세그먼트에 국한된 국소화된 수신 필드를 적용하여 공간적 맥락을 제한함으로써 계산 부담을 줄인다.
• 각 슬라이스 간에 검출 이력을 유지하는 상태 기반 비최대 억제(NMS)를 도입하여 추적 일관성을 향상시킨다.
• 시간 상태를 모델링하고 시간에 따라 검출 안정성을 향상시키기 위해 순환 신경망(RNN)을 통합한다.
• 피처 매핑 해상도 또는 은닉 유닛 수를 늘려 모델 용량을 확장하면서도 스트리밍 추론을 유지한다.
• 스캔 시간에 걸쳐 계산을 파이프라인화하여 피크 FLOPS를 감소시키고 저지연 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 LiDAR 데이터의 본질적 스트리밍 성격을 활용하여 3D LiDAR 포인트 클라우드의 객체 검출에서 상당한 지연 감소를 이룰 수 있는가?
• RQ2 시간 모델링과 상태 기반 연산은 스트리밍 환경에서 검출 정확도와 일관성을 어떻게 향상시킬 수 있는가?
• RQ3 스트리밍 모델은 피크 계산 자원의 일부분만 사용하면서도 비스트리밍 기준선에 비해 경쟁력 있거나 더 높은 mAP를 달성할 수 있는가?
• RQ4 표준 검출 메타아키텍처를 스트리밍 추론에 적합하게 조정하기 위해 필요한 아키텍처 수정은 무엇인가?
• RQ5 동일한 계산 예산 내에서 스트리밍 환경에서의 모델 스케일링은 비스트리밍 성능을 얼마나 초월할 수 있는가?

주요 결과

• 스트리밍 모델은 보행자에 대해 60.1 mAP를 달성하여 비스트리밍 기준선의 54.9 mAP를 초월한다.
• 차량에 대해서는 스트리밍 모델이 51.0 mAP를 기록하여 비스트리밍 기준선과 동일한 성능을 유지하면서도 지연 시간을 줄였다.
• 예상 검출 지연 시간은 기준선의 약 120 ms에서 약 30 ms로 감소하여 4배(피크 지연 시간의 1/15) 감소하였다.
• 피크 계산 부담은 비스트리밍 기준선 대비 최소 1/10 수준으로 감소하였고, 성능은 유지되거나 향상되었다.
• 비스트리밍 모델의 피크 FLOPS의 약 1/3만을 사용함에도 불구하고, 상태 기반 RNN과 NMS 버전은 높은 정확도를 유지하면서 지연 시간을 3배 이상 감소시켰다.
• 더 큰 스트리밍 모델은 피크 FLOPS의 약 1/2.25만으로 비스트리밍 기준선보다 더 높은 정확도(예: 60.1 vs 54.9 mAP)를 달성하였다.