[논문 리뷰] Predicting Motion of Vulnerable Road Users using High-Definition Maps and Efficient ConvNets

Fang‐Chieh Chou, Tsung-Han Lin외 7명|arXiv (Cornell University)|2019. 06. 20.

Autonomous Vehicle Technology and Safety인용 수 4

한 줄 요약

이 논문은 고정밀도 지ap 래스터라이제이션과 효율적인 컨볼루션 네트워크를 사용하여 도시 환경에서 보행자 및 자전거 운전자 운동을 예측하는 딥러닝 프레임워크를 제안한다. 래스터라이제이션 해상도, 회전, 장면 컨텍스트(예: 신호등, 차선 방향)를 최적화함으로써 높은 정확도와 낮은 지연을 달성하여 자율주행 차량에서 실시간 구동이 가능해진다.

ABSTRACT

Following detection and tracking of traffic actors, prediction of their future motion is the next critical component of a self-driving vehicle (SDV) technology, allowing the SDV to operate safely and efficiently in its environment. This is particularly important when it comes to vulnerable road users (VRUs), such as pedestrians and bicyclists. These actors need to be handled with special care due to an increased risk of injury, as well as the fact that their behavior is less predictable than that of motorized actors. To address this issue, in the current study we present a deep learning-based method for predicting VRU movement, where we rasterize high-definition maps and actor's surroundings into a bird's-eye view image used as an input to deep convolutional networks. In addition, we propose a fast architecture suitable for real-time inference, and perform an ablation study of various rasterization approaches to find the optimal choice for accurate prediction. The results strongly indicate benefits of using the proposed approach for motion prediction of VRUs, both in terms of accuracy and latency.

연구 동기 및 목표

• 보행자 및 자전거 운전자와 같이 부상에 더 취약하고 자동차보다 예측하기 어려운 행동을 보이는 취약 도로 사용자(VRUs)의 운동 예측 문제를 해결한다.
• 차선 구조, 신호등, 도로 기하학적 특성 등의 세부 장면 컨텍스트를 딥러닝 프레임워크에 통합하여 운동 예측 정확도를 향상시킨다.
• 밀도 높은 도시 환경에서 운영되는 자율주행 차량에서 실시간 추론이 가능한 빠르고 효율적인 CNN 아키텍처를 개발한다.
• 래스터라이제이션 설정(해상도, 회전, 특징 인코딩)의 최적 조합을 특정하여 VRU 예측 성능을 극대화하는 데 기여하는 요소를 규명하기 위해 체계적인 아블레이션 연구를 수행한다.
• 오프라인 테스트와 실제 자율주행 차량(SDV) 운영에서의 성공적인 온보드 배포를 통해 시스템을 검증한다.

제안 방법

• 고정밀도(HD) 지도와 주변 장면 컨텍스트—차선 기하학, 신호등, 운전자 위치 등을 포함—를 다양한 해상도(0.1m, 0.2m, 0.3m)로 베이비의이뷰(BEV) 특징 맵으로 래스터라이제이션한다.
• 운전자 헤딩 방향이 이미지 상단을 햖향하도록 래스터라이제이션된 BEV 특징 맵을 회전시켜 입력의 변동성을 줄이고 CNN의 예측 작업을 단순화한다.
• 자율주행 차량의 임베디드 시스템에서 실시간 추론이 가능한 경량이고 효율적인 컨볼루션 네트워크 아키텍처를 사용한다.
• 신호등 상태 및 차선 방향 표시기(색상으로 인코딩)와 같은 장면 특징을 래스터 입력에 통합하여 VRU 운동에 대한 맥락적 제약 조건을 모델링한다.
• 차량 운동 모델의 사전 훈련 가중치를 사용하여 VRU 예측 모델을 미세조정함으로써 일반적인 운동 패턴을 활용하면서도 VRU 전용 행동에 적응한다.
• 래스터라이제이션 설정의 다양한 조합을 평가하기 위해 아블레이션 연구를 수행하여 해상도, 회전, 특징 인코딩이 예측 정확도에 미치는 영향을 분리 분석한다.

실험 결과

연구 질문

• RQ1 래스터라이제이션 해상도(0.1m, 0.2m, 0.3m)의 선택이 보행자 및 자전거 운전자에 대한 운동 예측 정확도에 어떤 영향을 미치는가?
• RQ2 래스터라이제이션된 BEV 맵을 운전자 헤딩 방향이 이미지 상단을 향하도록 회전시키는 것이 예측 성능 향상에 얼마나 기여하는가?
• RQ3 래스터라이제이션 입력에 신호등 상태 및 차선 방향 정보를 포함시키는 것이 VRU 궤적 예측 정확도에 얼마나 중요한가?
• RQ4 사전 훈련된 차량 운동 모델을 VRU 예측에 효과적으로 미세조정할 수 있으며, 이는 완전히 새로 훈련하는 것과 비교해 어떻게 성능을 높이는가?
• RQ5 실시간 SDV 배포에 최적의 정확도와 계산 효율성의 균형을 이루는 래스터라이제이션 설정 조합은 무엇인가?

주요 결과

• 0.1m 해상도 래스터라이제이션은 보행자에 대해 가장 낮은 예측 오차를 기록했고, 0.3m 해상도는 가장 나쁜 성능을 보였으며, 이는 더 세밀한 공간 정보가 더 천천히 움직이는 운전자에게 유리함을 시사한다.
• 래스터라이제이션 입력을 회전시키지 않은 경우 보행자 및 자전거 운전자 모두 정확도가 크게 떨어졌으며, 이는 입력 분포를 안정화하고 학습을 단순화함으로써 회전이 학습에 기여함을 보여준다.
• 신호등 상태 정보를 제외한 경우 보행자 및 자전거 운전자 모두 예측 오차가 증가했으며, 명확한 사례에서는 신호등 상태 변화가 자전거 운전자 예측 궤적을 건너뛰기에서 대기 상태로 전환시켰다.
• 차선 방향 인코딩은 자전거 운전자 예측 정확도를 약간 향상시켰지만 보행자에게는 영향을 주지 않았으며, 이는 차선 안내가 차량 유사 행동에 더 관련이 있음을 확인한다.
• 래스터라이제이션 색상 정보를 엔드 투 엔드로 학습시키는 것은 자전거 운전자 예측에 약간의 향상을 가져왔지만 보행자 예측 성능을 떨어뜨렸다. 이는 수작업으로 설계된 색상 인코딩이 보행자에 대해 충분한 신호를 이미 포괄하고 있음을 시사한다.
• 차량 사전 훈련 가중치를 사용한 미세조정은 기준 모델 대비 자전거 운전자 예측 성능을 향상시켰지만, 보행자 예측 성능은 악화시켰다. 이는 차량 운동 패턴이 보행자 행동과 다를 경우 전이 가능성은 낮음을 시사한다.