[논문 리뷰] Convolutional Neural Network for Trajectory Prediction

Nishant Nikhil, Brendan Morris|arXiv (Cornell University)|2018. 09. 03.

Autonomous Vehicle Technology and Safety참고 문헌 19인용 수 6

한 줄 요약

이 논문은 상태기반 LSTM 모델에 비해 유사한 정확도를 달성하면서도 훨씬 더 빠른 속도를 보이는 경량의 엔드 투 엔드 컨볼루션 신경망(CNN)을 제안한다. 다중 출력 예측과 공간-시간 컨볼루션을 활용함으로써 병렬 추론이 가능하고 오차 누적이 감소하여, 계산 자원이 제한된 실시간 로봇 응용 분야에 매우 적합하다.

ABSTRACT

Predicting trajectories of pedestrians is quintessential for autonomous robots which share the same environment with humans. In order to effectively and safely interact with humans, trajectory prediction needs to be both precise and computationally efficient. In this work, we propose a convolutional neural network (CNN) based human trajectory prediction approach. Unlike more recent LSTM-based moles which attend sequentially to each frame, our model supports increased parallelism and effective temporal representation. The proposed compact CNN model is faster than the current approaches yet still yields competitive results.

연구 동기 및 목표

• 자원 제약이 있는 로봇에서 실시간 배포에 적합한 계산 효율성이 높은 궤적 예측 모델을 개발하기 위해.
• RNN 및 LSTM 모델이 보행자 궤적을 모델링할 때 겪는 문제점인 순차적 추론과 기울기 소실 현상을 해결하기 위해.
• 궤적 예측에서 시간적 시퀀스 모델링에 대해 컨볼루션 네트워크의 잠재력을 탐색하고, 공간-시간 상관관계를 활용하기 위해.
• 복잡한 컨텍스트 인식 LSTM 기반 모델에 의존하지 않고도 단순하고 컴act한 CNN이 유사한 성능을 달성할 수 있음을 보여주기 위해.
• 다단계 출력 예측을 통해 병렬 추론을 가능하게 하여 자동재귀 모델에서 흔히 발생하는 오차 전파를 줄이기 위해.

제안 방법

• 모델는 관측된 보행자 궤적에서 공간-시간 특징을 추출하기 위해 다수의 잔차 블록을 포함한 완전 컨볼루션 아키텍처를 사용한다.
• 모든 미래 시간 단계의 향후 위치를 동시에(다중 출력) 예측함으로써 순차적 의존성을 제거하고 병렬 추론을 가능하게 한다.
• 네트워크는 궤적 시퀀스를 1차원 공간-시간 신호로 처리하고, 시간 순서를 유지하고 수신 영역을 확장하기 위해 인과 컨볼루션을 적용한다.
• 추론 속도를 최적화하기 위해 네 개의 컨볼루션 레이어가 성능과 복잡성의 최적 균형을 이룬다.
• 외부 컨텍스트(예: 사회적 힘, 환경 이미지 등)는 사용되지 않으며, 예측은 관측된 궤적 역사에만 기반한다.
• 예측된 궤적 좌표에 대한 평균 제곱오차 손실을 사용하여 엔드 투 엔드로 학습된다.

실험 결과

연구 질문

• RQ1 순수한 컨볼루션 아키텍처가 최신 LSTM 기반 모델에 비해 경쟁 가능한 궤적 예측 성능을 달성할 수 있는가?
• RQ2 CNN에서 다중 출력 예측이 자동재귀 시퀀스 생성에 비해 오차 누적을 얼마나 줄이는가?
• RQ3 간단하고 컴팩트한 CNN 모델이 더 복잡한 모델보다 추론 속도 면에서 뛰어나면서도 정확도를 유지할 수 있는가?
• RQ4 사회적 또는 환경적 컨텍스트가 없는 경우, 붐비는 환경에서 성능에 어떤 영향을 미치는가?
• RQ5 정확도와 효율성 측면에서 궤적 예측을 위한 CNN 아키텍처의 최적 깊이(층수)는 무엇인가?

주요 결과

• 제안된 CNN 모델은 UNIV 데이터셋에서 최종 평균 이격 오차(ADE) 0.58과 최종 이격 오차(FDE) 1.20을 기록하여 S-GAN-P를 능가하고, 사회적 컨텍스트를 사용하지 않았음에도 불구하고 SoPhie와 유사한 성능을 보였다.
• S-GAN-P 대비 33.5배, S-LSTM 대비 500배 더 빠른 속도를 기록했으며, 추론 시간은 단 0.002초였다.
• 네 레이어 CNN 아키텍처가 성능과 복잡성 사이의 최적 균형을 이룬다. 다섯 레이어(더 깊은) 또는 세 레이어(더 浅은) 네트워크보다 성능이 열 劣하다.
• 다중 출력 예측은 순차적 예측 대비 오차 전파를 크게 줄였으며, 정성적 비교에서 CNN는 궤적 안정성을 유지하는 반면 LSTM 유사 모델은 궤적을 '기울여' 나가는 경향을 보였다.
• 혼잡한 군중 환경에서는 사회적 풀링이 없어 보행자들이 서로 다른 방향으로 움직일 때도 잘못된 그룹 운동 예측을 피할 수 있었으며, S-GAN-P가 잘못된 방향의 보행자 궤적을 융합한 사례를 통해 이를 확인할 수 있었다.
• 장면 또는 사회적 컨텍스트 없이도 많은 상황에서 안정적인 성능을 보였지만, 매우 복잡하거나 모호한 상황에서는 컨텍스트가 유용할 수 있음을 확인할 수 있었다.