[논문 리뷰] LiDAR-based Online 3D Video Object Detection with Graph-based Message Passing and Spatiotemporal Transformer Attention

Junbo Yin, Jianbing Shen외 3명|arXiv (Cornell University)|2020. 04. 03.

Advanced Neural Network Applications참고 문헌 64인용 수 14

한 줄 요약

이 논문은 그래프 기반 메시지 전달과 시공간 트랜스포머 어텐션을 사용하여 LiDAR 포인트 클라우드용 새로운 엔드 투 엔드 온라인 3D 비디오 객체 검출기를 제안한다. 공간 특징 인코딩을 향상시키기 위해 펠리어 메시지 전달 네트워크(PMPNet)와 공간 및 시간 어텐션을 갖춘 주의적 시공간 트랜스포머 GRU(ASP-GRU)를 도입하여 장거리 의존성을 모델링한다. nuScenes 벤치마크에서 29.35% mAP로 최신 기술 수준(SoTA) 성능을 달성한다.

ABSTRACT

Existing LiDAR-based 3D object detectors usually focus on the single-frame detection, while ignoring the spatiotemporal information in consecutive point cloud frames. In this paper, we propose an end-to-end online 3D video object detector that operates on point cloud sequences. The proposed model comprises a spatial feature encoding component and a spatiotemporal feature aggregation component. In the former component, a novel Pillar Message Passing Network (PMPNet) is proposed to encode each discrete point cloud frame. It adaptively collects information for a pillar node from its neighbors by iterative message passing, which effectively enlarges the receptive field of the pillar feature. In the latter component, we propose an Attentive Spatiotemporal Transformer GRU (AST-GRU) to aggregate the spatiotemporal information, which enhances the conventional ConvGRU with an attentive memory gating mechanism. AST-GRU contains a Spatial Transformer Attention (STA) module and a Temporal Transformer Attention (TTA) module, which can emphasize the foreground objects and align the dynamic objects, respectively. Experimental results demonstrate that the proposed 3D video object detector achieves state-of-the-art performance on the large-scale nuScenes benchmark.

연구 동기 및 목표

• 자율주행에서의 가림, 희소한 포인트 클라우드, 동적인 물체를 다루는 데에 단일 프레임 3D 객체 검출기의 한계를 해결한다.
• 포인트 클라우드 비디오 시퀀스의 시공간 일관성을 활용하여 검출의 강건성과 정확도를 향상시킨다.
• LiDAR 포인트 클라우드에서 장거리 공간 및 시간 의존성을 효과적으로 모델링할 수 있는 온라인 실시간 추론을 위한 방법을 개발한다.
• 반복 메모리 유닛 내 어텐션 메커니즘을 통해 배경 노이즈와 프레임 간 동적 물체의 정렬 오차를 완화한다.
• 대규모 nuScenes 벤치마크에서 3D 비디오 객체 검출에 대해 최신 기술 수준의 성능을 달성한다.

제안 방법

• 비어 있지 않은 펠리어를 노드로 간주하고 k-NN 그래프에서 반복적인 메시지 전달을 수행하여 수용 영역을 확장하는 그래프 기반 공간 인코더인 펠리어 메시지 전달 네트워크(PMPNet)를 제안한다.
• 시공간 특징 집합을 위한 주의 메모리 게이팅 메커니즘을 갖춘 컨볼루션 GRU(ConvGRU)의 확장판인 주의적 시공간 트랜스포머 GRU(ASP-GRU)를 설계한다.
• 공간적 특징을 고려한 컨텍스트에 주의를 기울여 배경 노이즈를 억제하고 전경 물체를 강조하기 위해 공간 트랜스포머 어텐션(STA) 모듈을 통합한다.
• 인터어텐션을 사용하여 프레임 간 동적 물체를 정렬하는 시간 트랜스포머 어텐션(TTA) 모듈을 도입하여 운동에 비록 메모리 업데이트 품질을 향상시킨다.
• 자기 운동 정보를 사용하여 정적 물체를 정렬하고 TTA와 조합하여 동적 환경에서의 시간 모델링을 향상시킨다.
• 순차적 포인트 클라우드 프레임에서 엔드 투 엔드 모델을 훈련시켜 장기적인 시간적 맥락을 갖춘 온라인 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 그래프 기반 메시지 전달이 국소 바이트 또는 펠리어 풀링을 초월하여 3D 포인트 클라우드 프레임의 공간 특징 표현을 향상시키는 데 효과적인가?
• RQ2 주의력 강화된 반복 유닛이 LiDAR 비디오 시퀀스에서 장거리 시공간 의존성을 얼마나 효과적으로 모델링할 수 있는가?
• RQ3 공간 어텐션은 배경 간섭을 얼마나 줄이고 작은 물체 또는 가림된 물체의 검출을 향상시키는가?
• RQ4 시간 어텐션은 움직이는 물체의 메모리 정렬을 향상시켜 동적 환경에서의 검출 강건성을 높일 수 있는가?
• RQ5 장기적인 시간적 맥락(예: 2.5초)을 통합하면 대규모 벤치마크에서 3D 객체 검출 성능을 크게 향상시킬 수 있는가?

주요 결과

• 제안된 PMPNet은 PointPillars 기준선에 비해 +2.05% mAP 향상시켜 그래프 기반 메시지 전달이 공간 수용 영역을 확장하는 데 효과적임을 입증한다.
• STA 및 TTA 모듈을 모두 갖춘 AST-GRU는 단일 프레임 PointPillars 기준선 대비 +5.98% mAP 향상시켜 주의 메모리 게이팅의 가치를 보여준다.
• 더 긴 입력 시퀀스(2.5초, 즉 5프레임)를 사용하면 단일 프레임 입력 대비 +4.68% mAP 향상되며 장기적 시간 모델링의 이점을 확인한다.
• 전체 모델은 nuScenes 벤치마크에서 29.35% mAP를 달성하여 기존 비디오 검출기들을 능가하고 새로운 최신 기술 수준을 설정한다.
• 절단 분석 결과 STA 및 TTA 모듈이 모두 기여도가 높으며, TTA-GRU만으로도 +4.02% mAP 향상, STA-GRU 또한 +4.02% mAP 향상되어 상호 보완적 역할임을 확인한다.
• 정성적 결과는 모델이 시간 일관성을 활용하여 단일 프레임 검출기로는 어려운 가림되거나 먼 차량까지 성공적으로 검출함을 보여준다.