[논문 리뷰] Deep Tracking on the Move: Learning to Track the World from a Moving Vehicle using Recurrent Neural Networks

Julie Dequaire, Dushyant Rao외 3명|arXiv (Cornell University)|2016. 09. 29.

Autonomous Vehicle Technology and Safety참고 문헌 14인용 수 15

한 줄 요약

이 논문은 이동 중인 차량의 시점에서 도시 환경의 동적 및 정적 물체를 추적하기 위해 순환 신경망(RNN)과 공간 변환기 모듈을 사용한 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 추정된 이고모션을 활용하여 원시 레이저 스캔에서 차단되지 않은 점유 격자를 예측하고, 완전한 가림을 겪는 물체까지도 정확하게 추적하며, 운동 유도 왜곡에 대한 내성과 미래 상태 예측 성능에서 기준 모델을 능가한다.

ABSTRACT

This paper presents an end-to-end approach for tracking static and dynamic objects for an autonomous vehicle driving through crowded urban environments. Unlike traditional approaches to tracking, this method is learned end-to-end, and is able to directly predict a full unoccluded occupancy grid map from raw laser input data. Inspired by the recently presented DeepTracking approach [Ondruska, 2016], we employ a recurrent neural network (RNN) to capture the temporal evolution of the state of the environment, and propose to use Spatial Transformer modules to exploit estimates of the egomotion of the vehicle. Our results demonstrate the ability to track a range of objects, including cars, buses, pedestrians, and cyclists through occlusion, from both moving and stationary platforms, using a single learned model. Experimental results demonstrate that the model can also predict the future states of objects from current inputs, with greater accuracy than previous work.

연구 동기 및 목표

• 이동하는 자율 주행 차량에서부터 동적인 도시 환경의 객체를 추적하기 위한 엔드 투 엔드 학습 프레임워크를 개발하는 것.
• 수작업으로 설계된 구성 요소에 의존하는 전통적인 다단계 추적 파ip라인의 한계를 극복하는 것.
• 오직 원시 레이저 입력만을 사용하여 미래 위치와 가림된 트랙을 포함한 객체 상태를 정확하게 예측하는 것.
• 이동 중인 차량의 운동에 따라 추정된 이고모션을 공간 변환기 모듈을 통해 네트워크에 통합하여 운동에 의한 왜곡에 대한 추적 내성 향상.
• 다양한 객체—자동차, 보행자, 자전거 기사, 버스—가 가림과 시간이 지남에 따라 어떻게 추적되는지 성능을 입증하는 것.

제안 방법

• 모델은 순차적인 레이저 스캔에서 환경의 시간적 변화를 인코딩하기 위해 게이트드 순환 단위(GRU) 기반 RNN을 사용한다.
• 공간 변환기 모듈을 적용하여 추정된 이고모션에 따라 특징 맵을 변형하고, 특징 공간을 세계 기준 프레임에 정렬한다.
• 중간 단계인 탐지 및 연관 단계를 건너뛰고, 원시 레이저 입력에서 직접 전체 차단되지 않은 점유 격자를 예측하도록 네트워크를 엔드 투 엔드로 훈련한다.
• 실제 차량 운동을 대체로 추정된 이고모션을 사용하여 센서와 환경 간의 상대 운동을 보정한다.
• 아키텍처는 RNN의 은닉 상태에 객체의 위치와 속도를 기억할 수 있도록 하여 향후 상태 예측을 가능하게 한다.
• 추론 중 마스킹 전략을 통해 매 5프레임마다 입력 프레임을 검게 처리하여 가림을 시뮬레이션하고, 예측 불가능한 가림에 대한 일반화 능력을 시험한다.

실험 결과

연구 질문

• RQ1 명시적인 탐지나 데이터 연관 없이 엔드 투 엔드 딥 러닝 모델이 가림 상황에서도 여러 객체 유형을 추적할 수 있는가?
• RQ2 공간 변환기를 통해 추정된 이고모션을 통합할 경우, 정적 모델 대비 이동 플랫폼에서 추적 정확도가 어떻게 향상되는가?
• RQ3 현재 입력만을 사용하여, 특히 가림 뒤의 객체 상태까지 미래 상태를 얼마나 정확하게 예측할 수 있는가?
• RQ4 실제 차량 운동 조건에서 다양한 동적 및 정적 객체가 있는 복잡한 도시 환경에 대해 모델이 일반화되는 정도는 어느 정도인가?
• RQ5 장기적인 가림 상황에서 이고모션을 忽시하는 기준 모델과 비교해 볼 때, 모델의 성능은 어떻게 되는가?

주요 결과

• 공간 변환기 모델(STM)은 특히 완전한 가림 기간 동안과 이후에 객체의 미래 상태를 예측하는 데 기준 모델인 DeepTracking 모델을 뚜렷이 능가한다.
• 기준 모델은 한 차량에 의해 5프레임 동안 가려진 두 명의 보행자를 회복하지 못하는 반면, STM은 정확하게 그들의 위치를 유지한다.
• 기준 모델은 이고모션을 忽시하고 있음에도 불구하고 놀랍게 높은 F1 스코어를 기록한다. 이는 데이터셋의 상대적으로 일정한 차량 속도와 높은 정적 객체 비율 때문일 것이다.
• STM은 모든 미래 프레임에서 기준 모델 대비 명확한 F1 측정치 향상을 보이며, 이고모션 통합의 가치를 입증한다.
• 모델은 자동차, 버스, 보행자, 자전거 기사를 가림 상황에서도 정확하게 추적하며, 다수의 프레임 동안 완전히 숨겨진 경우에도 성능을 유지한다.
• 시스템은 복잡한 상대 운동과 동적인 시점 변화가 있는 실제 도시 주행 조건에서도 잘 일반화된다.