[논문 리뷰] Safety-Oriented Pedestrian Motion and Scene Occupancy Forecasting

Katie Luo, Sergio Casas외 5명|arXiv (Cornell University)|2021. 01. 07.

Autonomous Vehicle Technology and Safety참고 문헌 65인용 수 4

한 줄 요약

이 논문은 자율주행의 안전성을 향상시키기 위해 감지된 보행자 간 상호작용을 모델링하고 전체 환경의 점유지도 예측을 통합하여 보행자 운동과 환경 수준의 점유지도를 동시에 예측하는 Scene-Actor Graph Neural Network(SA-GNN)을 제안한다. 감지 후처리 과정에서 보행자가 누락되는 경우에도, 보행자 간 상호작용을 모델링하고 전체 환경의 점유지도 예측을 통합함으로써 SA-GNN은 점유지도 예측에서 최신 기술 수준의 성능을 달성한다—특히 재현율과 校정성 측면에서 뛰어나며, 동시에 보행자 운동 예측 성능도 유지한다.

ABSTRACT

In this paper, we address the important problem in self-driving of forecasting multi-pedestrian motion and their shared scene occupancy map, critical for safe navigation. Our contributions are two-fold. First, we advocate for predicting both the individual motions as well as the scene occupancy map in order to effectively deal with missing detections caused by postprocessing, e.g., confidence thresholding and non-maximum suppression. Second, we propose a Scene-Actor Graph Neural Network (SA-GNN) which preserves the relative spatial information of pedestrians via 2D convolution, and captures the interactions among pedestrians within the same scene, including those that have not been detected, via message passing. On two large-scale real-world datasets, nuScenes and ATG4D, we showcase that our scene-occupancy predictions are more accurate and better calibrated than those from state-of-the-art motion forecasting methods, while also matching their performance in pedestrian motion forecasting metrics.

연구 동기 및 목표

• 신뢰도 임계값 및 비최대 억제와 같은 감지 실패로 인해 발생하는 보행자 인식 및 운동 예측의 안전성과 관련된 격차를 보완하기 위해.
• 희귀하거나 낮은 확률의 사건(예: 감지되지 않은 횡단 보행자)에 대해 점차적 예측 정확도와 校정성을 향상시키기 위해.
• 개별 보행자 궤적과 환경 수준의 점유지도를 동시에 예측하는 통합 프레임워크를 개발하여 감지 누락에 대한 강건성을 향상시키기 위해.
• 실제 자율주행 환경에서 고재현율, 안전 중심의 운동 계획을 위해 점유지도 예측이 필수적임을 입증하기 위해.

제안 방법

• SA-GNN는 각 보행자의 관심 영역(RoI) 내에서 공간적 관계를 유지하기 위해 2D 컨볼루션 특징을 사용하여 이동 불변성 문제를 줄인다.
• RoI 특징에 공간 좌표를 인코딩하기 위해 CoordConv를 도입하여 개별 액터의 정확도를 향상시킨다.
• 감지된 보행자와 전용 환경 노드를 포함한 그래프를 구성하여 액터 간 및 액터와 환경 간 메시지 전달을 가능하게 한다.
• 액터 → 환경 및 환경 → 액터 양방향 메시지 전달을 수행하여 환경가 보행자 운동에 영향을 주고 반대로 보행자 운동이 환경 예측에 영향을 주도록 한다.
• 개별 운동 예측과 환경 점유지도 예측을 결합한 다중 작업 손실을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 환경 점유지도는 감지 결과에 의존하지 않는 인스턴스 자유형, 고밀도 방식으로 예측한다.

실험 결과

연구 질문

• RQ1 보행자 운동과 환경 점유지도를 동시에 예측함으로써 감지 실패를 보완하여 자율주행의 안전성을 향상시킬 수 있는가?
• RQ2 개별 보행자 상호작용과 함께 환경 수준의 점유지도를 모델링할 경우 예측 정확도와 校정성에 어떤 영향을 미치는가?
• RQ3 환경 → 액터 메시지 전달을 포함할 경우 감지되지 않은 보행자에 대한 강건성이 얼마나 향상되는가?
• RQ4 개별 인스턴스 기반 운동 예측 방법에 비해 통합된 환경 점유지도 및 운동 예측 프레임워크가 재현율과 신뢰성 측면에서 우수한가?
• RQ5 엔드 투 엔드로 훈련된 모델이 nuScenes 및 ATG4D와 같은 실제 데이터셋에서 더 나은 校정성과 일반화 능력을 달성할 수 있는가?

주요 결과

• ATG4D 데이터셋에서 SA-GNN는 점유지도 예측에 대해 최종 mAP 19.28을 달성하여 기준 모델인 FCN(15.71)과 FCN+CoordConv(16.31)를 크게 앞서며 뚜렷한 성능 향상을 보였다.
• ATG4D에서 모델은 후처리 없이도 거의 완벽한 신뢰도 다이어그램을 기록하여 불확실성 추정이 잘 校정되어 있음을 시사한다.
• 절단 실험에서 환경 → 액터 메시지 전달을 추가함으로써 감지되지 않은 보행자의 진짜 궤적에서의 평균 점유 확률이 9.25%에서 5.46%로 감소하여 강건성이 향상됨을 입증했다.
• SA-GNN는 점유지도 예측에서 최신 기술 수준의 성능을 달성했으며, ACE(1.21), MCE(2.55), NLL(4.02)와 같은 개별 인스턴스 운동 예측 지표에서도 이전 방법과 동등하거나 이를 초월했다.
• 낮은 재현율 영역에서도 높은 정밀도를 유지하며 재현율의 꼬리 부분이 더 길어져 희귀하거나 낮은 신뢰도의 보행자도 더 잘 탐지함을 보였다.
• 환경 → 액터 메시지 전달의 포함은 점유지도 예측과 운동 예측 성능을 모두 향상시켜, 환경 수준의 인식이 전체적인 강건성 향상에 기여함을 보여주었다.