[논문 리뷰] Egocentric Vision-based Future Vehicle Localization for Intelligent Driving Assistance Systems

Yu Yao, Mingze Xu외 4명|arXiv (Cornell University)|2018. 09. 19.

Autonomous Vehicle Technology and Safety인용 수 6

한 줄 요약

이 논문은 미래 차량 위치 예측을 위한 다중 스트림 RNN 인코더-디코더 모델을 제안한다. 과거 차량 위치, 이미지 특징, 밀도형 광학 흐름, 예측된 자가 운동 정보를 활용하여 궤적 예측 성능을 향상시킨다. 새로운 HEV-I 및 KITTI 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, FDE 점수 25.56을 기록하여 기존의 기준 모델들을 크게 앞서며, 광학 흐름과 자가 운동 모델링의 핵심적 역할을 입증한다.

ABSTRACT

Predicting the future location of vehicles is essential for safety-critical applications such as advanced driver assistance systems (ADAS) and autonomous driving. This paper introduces a novel approach to simultaneously predict both the location and scale of target vehicles in the first-person (egocentric) view of an ego-vehicle. We present a multi-stream recurrent neural network (RNN) encoder-decoder model that separately captures both object location and scale and pixel-level observations for future vehicle localization. We show that incorporating dense optical flow improves prediction results significantly since it captures information about motion as well as appearance change. We also find that explicitly modeling future motion of the ego-vehicle improves the prediction accuracy, which could be especially beneficial in intelligent and automated vehicles that have motion planning capability. To evaluate the performance of our approach, we present a new dataset of first-person videos collected from a variety of scenarios at road intersections, which are particularly challenging moments for prediction because vehicle trajectories are diverse and dynamic.

연구 동기 및 목표

• 지능형 주행 시스템을 위한 첫 번째 시각(에고세트릭) 영상에서 미래 차량 위치와 크기를 예측하는 문제를 해결하기 위해.
• 다이나믹한 도심 교차로에서 운동 및 외관 변화를 효과적으로 포착할 수 있는 강력한 시간적 모델링 프레임워크를 개발하기 위해.
• 미래 연구를 지원하기 위해 복잡한 교차로 시나리오에 초점을 맞춘 새로운 다채로운 첫 번째 시각 영상 데이터셋을 구축하기 위해.
• 광학 흐름과 미래 자가 운동이 어려운 주행 환경에서 예측 정확도에 미치는 영향을 평가하기 위해.
• 제안된 HEV-I 및 기존의 KITTI 데이터셋에서 최신 기술 수준의 성능을 입증하기 위해.

제안 방법

• 과거 차량 바운딩 박스, 이미지 특징, 밀도형 광학 흐름, 미래 자가 운동을 처리하기 위한 다중 스트림 RNN 인코더-디코더(RNN-ED) 아키텍처를 제안한다.
• 각 입력 스트림에 대해 별도의 인코더를 사용하고, 공통 디코더를 활용하여 시간에 따라 미래 바운딩 박스를 생성한다.
• 밀도형 광학 흐름을 프레임 간 운동 및 외관 변화를 포착하기 위한 핵심 입력 스트림으로 통합한다.
• 특히 계획된 주행 조작이 있는 상황에서 예측 정확도를 향상시키기 위해 미래 자가 운동을 명시적으로 입력으로 모델링한다.
• 각 미래 예측이 이전의 은닉 상태에 조건화되는 시간 갱신 메커니즘을 도입하여, 한 번에 생성하는 것보다 장기적인 궤적 모델링 능력이 향상된다.
• 지표 향상의 목적을 위해 위치 및 크기 최적화를 위한 손실 함수를 사용하며, 지도 학습 기반으로 지표 향상된 미래 바운딩 박스를 사용해 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 에고세트릭 시각 기반 접근 방식이 복잡한 도심 교차로에서 미래 차량 위치와 크기를 효과적으로 예측할 수 있는가?
• RQ2 밀도형 광학 흐름을 통합할 경우, 에고세트릭 영상에서 미래 차량 위치 예측 정확도가 어떻게 향상되는가?
• RQ3 미래 자가 운동을 모델링할 경우, 다이나믹한 주행 환경에서 예측 성능 향상 정도는 어느 정도인가?
• RQ4 다중 스트림 RNN-ED 아키텍처가 컨볼루션-디컨볼루션 모델 대비 시간적 모델링 능력에서 어떻게 비교되는가?
• RQ5 제안된 방법은 HEV-I 및 KITTI와 같은 다양한 데이터셋에 대해 얼마나 일반화 가능한가?

주요 결과

• 제안된 RNN-ED-XOE 모델은 HEV-I 데이터셋에서 최종 FDE 점수 24.92를 기록하여 선형 기준 모델(72.37)과 일정 가속도 기준 모델(58.00)을 크게 앞선다.
• 최신 기술 수준의 Conv1D 기준 모델 대비 약 15% 향상된 성능을 기록하며, FDE 점수 25.56(기준 모델 29.06)로 더 낮은 점수를 기록한다.
• 제거 실험 결과에 따르면 밀도형 광학 흐름이 필수적임을 확인하였으며, 모델에 추가할 경우 FDE 점수는 34.04에서 25.56으로 감소한다.
• 미래 자가 운동을 통합함으로써 성능이 추가로 향상되어 HEV-I에서 최고의 결과인 FDE 24.92를 기록한다.
• KITTI 데이터셋에서는 FDE 37.11을 기록하여 Conv1D 기준 모델(78.19) 및 기타 기준 모델들을 능가하지만, HEV-I에 비해 성능이 낮은 편이며, 이는 데이터셋 크기와 복잡성 때문일 가능성이 높다.
• 정성적 결과 분석에서 모델은 곡선 및 장거리 궤적을 더 잘 포착하고, occlusion 및 경계 효과에 대해 Conv1D 기준 모델보다 더 강력하게 대처하는 것으로 나타났다.