[논문 리뷰] StrObe: Streaming Object Detection from LiDAR Packets

Davi Frossard, Simon Su외 4명|arXiv (Cornell University)|2020. 11. 12.

Advanced Neural Network Applications참고 문헌 30인용 수 8

한 줄 요약

StrObe는 다중 척도 공간 메모리를 사용하여 실시간으로 개별 LiDAR 패킷을 처리하는 스트리밍 LiDAR 객체 검출 프레임워크를 제안한다. 이로 인해 종단 간 지연 시간이 21ms로 단축되어 전체 스캔 기반 기준 대비 6배 빠르며, 스트리밍 및 전통적 전체 스캔 설정 모두에서 최신 기술 수준의 성능을 유지하거나 초월한다.

ABSTRACT

Many modern robotics systems employ LiDAR as their main sensing modality due to its geometrical richness. Rolling shutter LiDARs are particularly common, in which an array of lasers scans the scene from a rotating base. Points are emitted as a stream of packets, each covering a sector of the 360° coverage. Modern perception algorithms wait for the full sweep to be built before processing the data, which introduces an additional latency. For typical 10Hz LiDARs this will be 100ms. As a consequence, by the time an output is produced, it no longer accurately reflects the state of the world. This poses a challenge, as robotics applications require minimal reaction times, such that maneuvers can be quickly planned in the event of a safety-critical situation. In this paper we propose StrObe, a novel approach that minimizes latency by ingesting LiDAR packets and emitting a stream of detections without waiting for the full sweep to be built. StrObe reuses computations from previous packets and iteratively updates a latent spatial representation of the scene, which acts as a memory, as new evidence comes in, resulting in accurate low-latency perception. We demonstrate the effectiveness of our approach on a large scale real-world dataset, showing that StrObe far outperforms the state-of-the-art when latency is taken into account, and matches the performance in the traditional setting.

연구 동기 및 목표

• 전체 스캔 누적으로 인해 최대 100ms의 지연이 발생하는 LiDAR 기반 로봇 인식의 지연 문제를 해결한다.
• 완전한 360° 스캔을 기다리지 않고도 부분적이고 순차적인 LiDAR 패킷에서 정확한 객체 검출을 가능하게 한다.
• 과거 계산을 재사용하여 장면 일관성을 유지하고 분할된 관측치에서의 검출 성능을 향상시키는 메모리 보강 모델을 개발한다.
• 스트리밍 인식을 평가하기 위해 100Hz에서 정밀한 앵커파일드 레이저 데이터와 고정밀 레이블을 포함한 새로운 벤치마크인 PacketATG4D를 도입한다.
• 버퍼링 및 처리 지연으로 인한 실세계 성능 저하를 정량화하기 위해 지연 인식 mAP 지표를 제안한다.

제안 방법

• 입력되는 LiDAR 패킷을 효율적인 공간 처리를 위해 Bird’s-Eye View (BEV) 특징 격자로 변환한다.
• 현재 관측된 영역만 처리하는 경량 컨볼루션 기반 백본을 활용하여 패킷당 계산량을 최소화한다.
• 각 신규 패킷이 도착할 때마다 점진적으로 업데이트되는 다중 척도 공간 메모리 모듈을 도입하여 지속적인 장면 표현을 구현한다.
• 과거 관측치를 집계하고 메모리를 업데이트하기 위해 학습 가능한 컨볼루션 연산을 사용하여 이전 계산의 효율적 재사용을 가능하게 한다.
• 스트리밍 방식으로 데이터를 처리한다: 각 패킷은 도착 즉시 처리되며, 종단 간 지연 시간이 21ms 이내로 발생한다.
• 고해상도 HD 지도를 보조 입력으로 활용하지만, 모델은 이를 사용하지 않더라도 우수한 성능 유지를 보이며, 이는 메모리의 중심적 역할을 확인한다.

실험 결과

연구 질문

• RQ1 완전한 스캔을 기다리지 않고 개별 패킷을 처리함으로써 최소한의 지연 시간으로 LiDAR에서 객체 검출을 수행할 수 있는가?
• RQ2 객체가 여러 개의 부분적 LiDAR 관측치에 걸쳐 분할되어 있을 경우 모델은 어떻게 검출 정확도를 유지할 수 있는가?
• RQ3 버퍼링 및 처리 지연은 실세계 검출 성능에 어떤 영향을 미치며, 이를 어떻게 정량적으로 측정할 수 있는가?
• RQ4 학습 가능한 공간 메모리는 다수의 부분적 관측치에서 증거를 효과적으로 통합하여 스트리밍 데이터의 검출 성능을 향상시킬 수 있는가?
• RQ5 실시간 지연을 고려할 때 스트리밍 검출의 성능는 기존 전체 스캔 검출과 비교하여 어떻게 되는가?

주요 결과

• StrObe는 종단 간 지연 시간이 21ms(패킷 누적 10ms, 추론 11ms)로 기록되어 전체 스캔 기반 기준 대비 6배 빠르며, 이는 기존 기준 대비 128ms의 지연 시간을 기록한다.
• PacketATG4D 벤치마크에서 StrObe는 스트리밍 설정에서 차량에 대해 91.8% mAP, 보행자에 대해 80.5%, 자전거 기사에 대해 80.3%의 mAP 성능을 기록하며 모든 기준 모델을 초월한다.
• 패킷 스트리밍 설정에서의 성능가 전체 스캔 설정과 거의 동일한 성능(예: 차량에 대해 91.8% mAP)을 유지함으로써, 제안된 방법을 사용할 경우 지연 비용이 거의 없는 것으로 확인된다.
• 절단 실험 결과 다중 척도 공간 메모리가 핵심임을 입증한다. 메모리 모듈을 제거할 경우 mAP가 15%p 이상 감소하며, 주목적 기반 메모리는 학습 가능한 컨볼루션 집합보다 성능이 열 劣하다.
• HD 지도 구성 요소는 성능을 약간 향상시키지만 필수는 아니며, 이를 제거해도 성능 저하가 미미하여 메모리의 중심적 역할을 확인한다.
• 정성적 결과는 StrObe가 완전한 포인트 클라우드가 보이기 전에도 객체를 검출하고 새로운 포인트가 도착함에 따라 검출 결과를 업데이트할 수 있음을 보여주며, 부분적 관측치에 대한 강건성을 입증한다.