[논문 리뷰] Multimodal Interaction-aware Motion Prediction for Autonomous Street Crossing

Noha Radwan, Wolfram Burgard외 1명|arXiv (Cornell University)|2018. 08. 21.

Autonomous Vehicle Technology and Safety인용 수 7

한 줄 요약

이 논문은 자율 주행 보행자 횡단을 위한 교차로 안전성 예측을 위해 교통신호 인식과 상호작용 인식 운동 예측을 융합하는 다중모달, 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 궤도 예측에 확장된 인과 컨볼루션을 사용하고 AtteNet에서 Squeeze-Excitation 블록을 활용하여 강건한 특징 선택을 구현함으로써, 운동 예측과 횡단 안전성 예측에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 로봇 플랫폼을 통한 실세계 검증을 완료하였다.

ABSTRACT

For mobile robots navigating on sidewalks, it is essential to be able to safely cross street intersections. Most existing approaches rely on the recognition of the traffic light signal to make an informed crossing decision. Although these approaches have been crucial enablers for urban navigation, the capabilities of robots employing such approaches are still limited to navigating only on streets containing signalized intersections. In this paper, we address this challenge and propose a multimodal convolutional neural network framework to predict the safety of a street intersection for crossing. Our architecture consists of two subnetworks; an interaction-aware trajectory estimation stream IA-TCNN, that predicts the future states of all observed traffic participants in the scene, and a traffic light recognition stream AtteNet. Our IA-TCNN utilizes dilated causal convolutions to model the behavior of the observable dynamic agents in the scene without explicitly assigning priorities to the interactions among them. While AtteNet utilizes Squeeze-Excitation blocks to learn a content-aware mechanism for selecting the relevant features from the data, thereby improving the noise robustness. Learned representations from the traffic light recognition stream are fused with the estimated trajectories from the motion prediction stream to learn the crossing decision. Furthermore, we extend our previously introduced Freiburg Street Crossing dataset with sequences captured at different types of intersections, demonstrating complex interactions among the traffic participants. Extensive experimental evaluations on public benchmark datasets and our proposed dataset demonstrate that our network achieves state-of-the-art performance for each of the subtasks, as well as for the crossing safety prediction.

연구 동기 및 목표

• 신호등이 없는 교차로를 포함한 다양한 도로 교차로에서 자율 로봇이 안전하게 횡단할 수 있도록 하는 것.
• 횡단 결정에 신호등 신호에만 의존하는 것의 한계를 해결하는 것.
• 보행자, 차량, 교통신호 간의 복잡하고 동적인 상호작용을 확장 가능한 엔드 투 엔드 방식으로 모델링하는 것.
• 운동 예측 및 교통신호 스트림에서의 불확실성 통합을 통해 센서 노이즈 및 잘못된 예측에 대한 강건성을 향상시키는 것.
• 다양한 교차로 유형과 환경 조건을 포함하여 프라이부르크 도로 횡단 데이터셋을 확장하는 것.

제안 방법

• 이 프레임워크는 이중 스트림 아키텍처를 사용한다: 확장된 인과 컨볼루션 기반의 상호작용 인식 궤도 추정 스트림(IA-TCNN)은 모든 동적 에이전트의 향후 궤도를 모델링한다.
• 신호등 인식 스트림(AtteNet)은 콘텐츠 인식 특징 선택을 향상시키기 위해 Squeeze-Excitation 블록을 활용하여 노이즈에 강건한 특징을 학습한다.
• 두 스트림의 특징 맵을 융합하여 엔드 투 엔드 방식으로 횡단 안전성 예측을 위한 최종 분류기 학습을 수행한다.
• 각 하위 네트워크의 불확실성 추정치를 통합하여 개별 하위 네트워크의 오류에 대한 강건성을 향상시킨다.
• 모델은 공개 벤치마크와 다양한 교차로 유형 및 환경 조건을 포함한 확장된 프라이부르크 도로 횡단 데이터셋을 기반으로 훈련 및 평가된다.
• 모바일 로봇에 대한 실세계 구현을 통해 시스템의 실시간 성능과 다양한 환경에서의 일반화 능력을 검증하였다.

실험 결과

연구 질문

• RQ1 다중모달 딥 러닝 프레임워크가 교통신호 신호에만 의존하지 않고도 자율 보행자 횡단의 안전성 예측을 향상시킬 수 있는가?
• RQ2 명시적인 상호작용 우선순위 부여 없이도 인과 컨volutional 네트워크가 복잡한 다중 에이전트 상호작용을 얼마나 효과적으로 모델링할 수 있는가?
• RQ3 운동 예측 및 교통신호 인식에서의 불확실성 통합이 노이즈가 많거나 잘못된 입력에 대한 강건성을 얼마나 향상시키는가?
• RQ4 제안된 시스템은 신호등이 있는, 지하보도, 그리고 표시가 없는 횡단선까지 다양한 교차로 유형으로 일반화 가능한가?
• RQ5 주목적 기반 특징 선택(Squeeze-Excitation)의 통합이 다양한 조명 및 기상 조건에서 교통신호 인식 성능을 얼마나 향상시키는가?

주요 결과

• 제안된 프레임워크는 여러 공개 벤치마크 데이터셋에서 운동 예측 및 횡단 안전성 예측 작업 모두 최신 기술 수준(SOTA) 성능을 달성하였다.
• AtteNet은 글로벌 컨텍스트와 노이즈에 강건한 특징 선택을 활용하여 기존 방법보다 교통신호 인식 벤치마크에서 뛰어난 성능을 보였다.
• IA-TCNN 모델은 확장된 인과 컨볼루션을 통한 상호작용 동역학 모델링으로써, 로봇 뒤를 지나가는 자전거 기사와 같은 복잡한 행동까지도 정확하게 예측하였다.
• 두 스트림의 불확실성 인식 표현을 융합함으로써, 하위 네트워크 중 하나에서 발생하는 잘못된 예측에 대한 강건성이 크게 향상되었다.
• 로봇 플랫폼에서의 실세계 실험을 통해 시스템의 실시간 추론 능력과 예상치 못한 환경으로의 일반화 능력이 확인되었다.
• 확장된 프라이부르크 도로 횡단 데이터셋은 다양한 교차로 유형, 조명, 기상 조건, 교통 시나리오를 포함하여 시스템의 강건성에 대한 종합적인 평가를 가능하게 하였다.