[논문 리뷰] STINet: Spatio-Temporal-Interactive Network for Pedestrian Detection and Trajectory Prediction

Zhishuai Zhang, Jiyang Gao외 4명|arXiv (Cornell University)|2020. 05. 08.

Autonomous Vehicle Technology and Safety참고 문헌 29인용 수 9

한 줄 요약

STINet는 라이다 포인트 클라우드에서 보행자 검출 및 궤적 예측을 위한 종단간 두 단계의 시공간 상호작용 네트워크를 제안한다. 현재 및 과거 바운딩 박스를 사용해 시간적 프로포절을 생성하고, 그래프를 통해 상호작용을 모델링함으로써 Waymo Open Dataset에서 80.73 BEV AP 및 33.67 cm ADE를 기록하며 최신 기술 수준을 달성하면서도 프레임당 74.6ms의 실시간 추론을 유지한다.

ABSTRACT

Detecting pedestrians and predicting future trajectories for them are critical tasks for numerous applications, such as autonomous driving. Previous methods either treat the detection and prediction as separate tasks or simply add a trajectory regression head on top of a detector. In this work, we present a novel end-to-end two-stage network: Spatio-Temporal-Interactive Network (STINet). In addition to 3D geometry modeling of pedestrians, we model the temporal information for each of the pedestrians. To do so, our method predicts both current and past locations in the first stage, so that each pedestrian can be linked across frames and the comprehensive spatio-temporal information can be captured in the second stage. Also, we model the interaction among objects with an interaction graph, to gather the information among the neighboring objects. Comprehensive experiments on the Lyft Dataset and the recently released large-scale Waymo Open Dataset for both object detection and future trajectory prediction validate the effectiveness of the proposed method. For the Waymo Open Dataset, we achieve a bird-eyes-view (BEV) detection AP of 80.73 and trajectory prediction average displacement error (ADE) of 33.67cm for pedestrians, which establish the state-of-the-art for both tasks.

연구 동기 및 목표

• 기존 방법이 검출과 궤적 예측을 별도로 다루거나 굵은 시간적 통합을 사용하는 데서 비롯되는 한계를 해결하기 위해.
• 특히 그룹 내에서의 보행자 상호작용을 명시적으로 모델링하여 궤적 예측을 향상시키기 위해.
• 검출과 예측을 공동 최적화함으로써 종단간 시공간 표현 학습을 가능하게 하기 위해.
• 자율주행 응용 분야에서 높은 정확도를 유지하면서도 실시간 추론을 달성하기 위해.

제안 방법

• 백본 네트워크는 PointPillars 기반 아키텍처를 사용해 각 포인트 클라우드 프레임을 처리하고, 프레임별로 특징을 추출한다.
• 시간적 프로포절은 현재 및 과거 보행자 위치를 예측함으로써 생성되며, 명시적 트래킹 없이도 프레임 간 객체 연동을 가능하게 한다.
• 프로포절 생성 네트워크는 다중 프레임 특징을 융합해 기하학적, 운동적, 이력 경로 특징을 포함한 시공간 프로포절을 생성한다.
• 그래프 신경망을 통해 인접한 보행자 간의 상호작용을 모델링하여 궤적 예측을 향상시킨다.
• 풍부한 시공간-상호작용 특징을 사용해 프로포절 예측 네트워크는 검출 박스와 향후 궤적을 회귀한다.
• 전체 네트워크는 검출 및 궤적 예측 헤드를 공동으로 최적화하여 종단간 훈련된다.

실험 결과

연구 질문

• RQ1 검출과 궤적 예측의 종단간 공동 학습이 모듈러 파이프라인을 초월해 성능을 뛰어넘을 수 있는가?
• RQ2 현재 및 과거 객체 위치를 함께 모델링함으로써 시공간 표현 학습이 어떻게 향상되는가?
• RQ3 보행자 상호작용이 특히 그룹 설정에서 궤적 예측 정확도에 얼마나 기여하는가?
• RQ4 두 단계의 프로포절 기반 설계가 단일 단계 검출기보다 종합적인 검출 및 예측 성능을 향상시킬 수 있는가?
• RQ5 실세계 자율주행 환경에서 정확도와 추론 속도 사이의 상호 상충 관계는 어떠한가?

주요 결과

• STINet는 Waymo Open Dataset에서 새롭게 설정된 최신 기술 수준을 기록하며, 벌거벗은 시야(BEV) 검출 평균 정밀도(AP)가 80.73에 이른다.
• 궤적 예측에서 STINet는 보행자에 대해 평균 이동 오차(ADE) 33.67 cm를 기록했으며, 이 역시 Waymo Open Dataset에서 새롭게 설정된 최신 기술 수준이다.
• 상호작용 모델링 구성 요소는 다섯 명 이상의 그룹에 속한 보행자에 대해 DE@3에서 궤적 예측 정확도를 1.6% 향상시켰다.
• 100m × 100m 범위에서 STINet는 프레임당 74.6ms의 실시간 추론을 달성하여 10Hz를 초월한다.
• 제거 실험 결과는 이력 경로만으로는 정확한 예측이 불가능하며, 종합적인 시공간 및 상호작용 모델링의 필요성을 입증한다.
• 정성적 결과는 MF-FRCNN 및 IntentNet와 같은 기준 모델 대비 도는 길이나 그룹 보행자에 대해 뛰어난 궤적 예측 성능을 보였다.