[논문 리뷰] Spatiotemporal Relationship Reasoning for Pedestrian Intent Prediction

Bingbin Liu, Ehsan Adeli외 5명|arXiv (Cornell University)|2020. 02. 20.

Autonomous Vehicle Technology and Safety참고 문헌 76인용 수 10

한 줄 요약

이 논문은 자율주행 환경에서 보행자 의도 예측을 위한 그래프 컨볼루션 기반의 시공간 추론 프레임워크를 제안하며, 시간에 따라 보행자와 환경 요소 간의 관계를 모델링합니다. 새로운 STIP 데이터셋에서 79.10%의 정확도를 기록했고, JAAD에서는 79.28%를 기록하여 보행자가 횡단하기 약 1초 전까지 의도를 예측하며 기존 방법들을 능가합니다. 이는 보행자 중심 및 위치 중심 설정 모두에서 동적인 시나리오 그래프를 활용함으로써 달성되었습니다.

ABSTRACT

Reasoning over visual data is a desirable capability for robotics and vision-based applications. Such reasoning enables forecasting of the next events or actions in videos. In recent years, various models have been developed based on convolution operations for prediction or forecasting, but they lack the ability to reason over spatiotemporal data and infer the relationships of different objects in the scene. In this paper, we present a framework based on graph convolution to uncover the spatiotemporal relationships in the scene for reasoning about pedestrian intent. A scene graph is built on top of segmented object instances within and across video frames. Pedestrian intent, defined as the future action of crossing or not-crossing the street, is a very crucial piece of information for autonomous vehicles to navigate safely and more smoothly. We approach the problem of intent prediction from two different perspectives and anticipate the intention-to-cross within both pedestrian-centric and location-centric scenarios. In addition, we introduce a new dataset designed specifically for autonomous-driving scenarios in areas with dense pedestrian populations: the Stanford-TRI Intent Prediction (STIP) dataset. Our experiments on STIP and another benchmark dataset show that our graph modeling framework is able to predict the intention-to-cross of the pedestrians with an accuracy of 79.10% on STIP and 79.28% on ev{Joint Attention for Autonomous Driving (JAAD) dataset up to one second earlier than when the actual crossing happens. These results outperform the baseline and previous work. Please refer to http://stip.stanford.edu/ for the dataset and code.

연구 동기 및 목표

• 보행자와 환경 요소 간의 동적 상호작용을 모델링하여 자율주행 차량의 보행자 의도 예측을 향상시키기 위해.
• 기존 방법들이 보행자 전용 특징에만 의존하고 맥락적 관계를 忽시하는 한계를 해결하기 위해.
• 더 정확하고 시기적절한 의도 예측을 위해 시각적 장면 내 시공간 관계를 추론할 수 있는 통합 프레임워크를 개발하기 위해.
• 밀도 높은 보행자 환경을 고려한 자율주행 시나리오에 특화된 새로운 벤치마크 데이터셋인 STIP을 제안하기 위해.
• 의도 예측을 위해 복잡하고 상호의존적인 환경 역학을 포착하는 데 그래프 기반 모델링의 효과를 입증하기 위해.

제안 방법

• 각 보행자를 노드로 하고, 다른 객체들과 전체 환경 특징을 집계하는 컨텍스트 노드와 연결하는 보행자 중심 동적 시나리오 그래프를 구축하기 위해.
• 각 비디오 프레임 내에서 인스턴스 간의 공간적 관계를 모델링하기 위해 그래프 컨volution 네트워크(GCNs)를 사용하기 위해.
• 연속된 프레임 간 동일한 노드(보행자 및 컨텍스트) 간에 시간적 연결을 설정하여 변화하는 상호작용을 포착하기 위해.
• 그래프에 내장된 특징을 시간에 따라 처리하고 향후 의도를 예측하기 위해 게이팅된 순환 단위(GRUs)를 특징으로 삼기 위해.
• 차량 앞에서 보행자의 출현 가능성을 예측하기 위해 위치 중심 그래프 변형을 도입하여 자율 에이전트의 안전성을 향상시키기 위해.
• 사전 학습된 연결 기반 모델의 특징을 기반으로 가벼운 미세조정 전략을 사용하여 학습 메모리와 시간을 약 90% 감소시키기 위해.

실험 결과

연구 질문

• RQ1 보행자 전용 특징에만 의존하는 모델과 비교해 그래프 기반의 시공간 추론이 보행자 의도 예측 성능을 향상시킬 수 있는가?
• RQ2 보행자와 환경 요소(예: 차량, 신호등, 횡단보도) 간의 상호작용을 모델링할 경우 예측 정확도와 예측 시간 전행에 어떤 영향을 미치는가?
• RQ3 단일 전면 카메라 입력 대비 다중 카메라 입력이 의도 예측 성능 향상에 얼마나 기여하는가?
• RQ4 가벼운 그래프 미세조정 전략이 계산 비용을 크게 줄이면서도 높은 성능을 유지할 수 있는가?
• RQ5 실제 자동차 주행 환경에서 다양한 시간 예측 간격과 환경 밀도에 대해 모델의 일반화 능력은 어느 정도인가?

주요 결과

• 제안된 시공간 그래프 모델은 STIP 데이터셋에서 79.10%의 정확도를 기록했으며, 실제 횡단 전 약 1초 전에 의도를 예측합니다.
• JAAD 벤치마크에서 모델은 79.28%의 정확도를 기록했고, 동일하게 약 1초 전까지 의도를 예측하며 기존 방법들을 능가합니다.
• 좌측, 전면, 우측 카메라를 모두 사용할 경우 단일 카메라 입력보다 성능이 향상되었으며, 4초 관찰 후 2초 앞선 예측에서 81.73%의 정확도를 기록했습니다.
• 장기 예측 간격에서도 높은 성능을 유지하여, 4초 관찰 후 3초 뒤의 의도를 예측할 경우 STIP에서 80.32%의 정확도를 기록했습니다.
• 위치 중심 그래프 변형은 1회 에포크 사전 학습 기반 모델의 특징을 미세조정하여 30프레임(1초) 평균 정확도 86.38%를 달성했고, GPU 메모리의 1/10만을 사용했습니다.
• 성능 신뢰도는 시간이 지남에 따라 단조롭게 감소하지만, 다중 카메라 입력은 특히 장기 예측에서 예측을 안정화시키며 더 rich한 맥락적 신호를 제공함을 시사합니다.