[논문 리뷰] MotionNet: Joint Perception and Motion Prediction for Autonomous Driving Based on Bird's Eye View Maps

Pengxiang Wu, Siheng Chen외 1명|arXiv (Cornell University)|2020. 03. 15.

Autonomous Vehicle Technology and Safety참고 문헌 61인용 수 9

한 줄 요약

MotionNet은 라이다 포인트 클라우드에서 조합된 인식과 운동 예측을 수행하기 위해 새롭게 제안된 시간-공간 피라미드 네트워크와 공간적·시간적 일관성 손실을 활용한 조망도(비드아이즈뷰, BEV) 맵 표현 방식을 사용하는 딥러닝 모델이다. 이 모델은 nuScenes에서 최신 기술 수준을 초월하는 성능을 달성하며, 검출 기반 및 시나리오 플로우 기반 방법들을 능가하고, 개방형 시나리오에서 새로운 객체 유형에 대해서도 강인함을 입증한다.

ABSTRACT

The ability to reliably perceive the environmental states, particularly the existence of objects and their motion behavior, is crucial for autonomous driving. In this work, we propose an efficient deep model, called MotionNet, to jointly perform perception and motion prediction from 3D point clouds. MotionNet takes a sequence of LiDAR sweeps as input and outputs a bird's eye view (BEV) map, which encodes the object category and motion information in each grid cell. The backbone of MotionNet is a novel spatio-temporal pyramid network, which extracts deep spatial and temporal features in a hierarchical fashion. To enforce the smoothness of predictions over both space and time, the training of MotionNet is further regularized with novel spatial and temporal consistency losses. Extensive experiments show that the proposed method overall outperforms the state-of-the-arts, including the latest scene-flow- and 3D-object-detection-based methods. This indicates the potential value of the proposed method serving as a backup to the bounding-box-based system, and providing complementary information to the motion planner in autonomous driving. Code is available at https://github.com/pxiangwu/MotionNet.

연구 동기 및 목표

• 새로운 객체 유형이 등장하는 개방형 시나리오에서 경계 상자 기반 인식 시스템의 한계를 해결하기 위해.
• 통합된 BEV 표현에서 객체 유형, 점유율, 운동 동역학을 동시에 고려하여 운동 예측의 강인성을 향상시키기 위해.
• 표준 검출 기반 시스템의 백업으로 사용할 수 있고, 보완적인 운동 계획 데이터를 제공할 수 있는 효율적이고 실시간 동작이 가능한 시스템을 개발하기 위해.
• 새로운 일관성 손실을 통해 예측의 공간-시간적 매끄러움을 강제하여 현실성과 신뢰도를 향상시키기 위해.
• 특히 희귀하거나 미사전 유형의 객체에 대해 검출 없이도 운동 정보를 활용해 객체 인식을 가능하게 하기 위해.

제안 방법

• MotionNet은 라이다 스위프트 시퀀스를 처리하여 각 격자 셀에 점유율, 객체 유형, 운동(이동 벡터)을 인코딩한 BEV 맵를 생성한다.
• 2차원 공간 컨볼루션을 적용한 후 경량의 1차원 시간 컨볼루션을 사용하는 새로운 시간-공간 피라미드 네트워크(STPN)를 도입하여 계층적 특징 추출을 수행한다.
• 저수준의 운동 신호와 고수준의 맥락 정보를 균형 있게 통합하기 위해 중간 융합 전략을 사용하여 시간-공간 특징을 융합한다.
• 예측의 정규화와 공간-시간적 매끄러움 보장 등을 위해 공간적 및 시간적 일관성 손실을 사용하여 모델을 훈련시킨다.
• 분류, 상태 추정, 운동 예측을 위한 예측 헤드들이 추론 과정에서 상호 보완적으로 작용하여 일관성을 향상시킨다.
• 엔드 투 엔드로 훈련 가능하며, 53 Hz의 속도로 실시간 배포가 가능하다.

실험 결과

연구 질문

• RQ1 BEV 맵 기반의 동시 인식 및 운동 예측 프레임워크가 자율주행 벤치마크에서 최신 기술 수준의 검출 및 시나리오 플로우 기반 방법들을 능가할 수 있는가?
• RQ2 경계 상자 기반 접근 방식 없이도, 사전에 알려지지 않은 객체 유형에 대해 인식 및 운동 예측을 얼마나 효과적으로 수행할 수 있는가?
• RQ3 여러 개의 라이다 스위프트에서 시간-공간 특징을 융합하는 데 있어 최적의 전략은 무엇인가?
• RQ4 공간적 및 시간적 일관성 손실이 운동 예측의 현실성과 강인성 향상에 얼마나 기여하는가?
• RQ5 객체 검출기가 실패하는 개방형 시나리오에서 운동 신호만으로도 신뢰할 수 있는 객체 인식이 가능한가?

주요 결과

• MotionNet은 nuScenes 데이터셋에서 전체 정확도(OA) 70.3%와 5 m/s 이상 속도로 움직이는 객체에 대해 96.1%의 정확도를 달성하여 이전 최신 기술 수준의 방법들을 능가한다.
• 모델은 3D 객체 검출기가 완전히 실패하는, 휠체어에 앉은 장애인과 같은 새로운 객체 유형에 대해서도 강력한 성능 유지를 보였다.
• 제안된 STC 블록을 사용한 중간 융합 전략이 정확도와 추론 속도 사이의 최적의 트레이드오���을 달성하여 초기 및 후기 융합 변형보다 우수한 성능을 보였다.
• 보조 상태 추정 헤드와 상대 이동 벡터 예측을 사용함으로써 성능 향상과 운동 진동 감소가 뚜렷하게 향상되었다.
• 공간적 및 시간적 일관성 손실은 예측 노이즈를 효과적으로 억제하고 운동 예측의 매끄러움과 현실성을 향상시켰다.
• 운동 벡터를 포함한 BEV 표현 방식은 더 세밀한 바이트화보다 기하학적 세부 정보와 계산 비용 사이의 균형을 더 잘 유지하며, 더 세밀한 격자화는 성능 향상 없이 비용만 증가시킨다.