[논문 리뷰] Motion Prediction with Recurrent Neural Network Dynamical Models and Trajectory Optimization

Philipp Kratzer, Marc Toussaint외 1명|arXiv (Cornell University)|2019. 06. 28.

Autonomous Vehicle Technology and Safety참고 문헌 11인용 수 4

한 줄 요약

이 논문은 단기 인간 운동 동역학을 위한 GRU 기반 순환 신경망과 장기적 목표 및 환경 제약 조건을 통합하기 위해 기울기 기반 궤적 최적화를 조합한 운동 예측 프레임워크를 제안한다. 학습된 동역학을 활용하고 목표 상태 향해 궤적을 최적화함으로써, 특히 장기 예측 도달 운동에서 기준 모델 대비 유의미하게 향상된 예측 정확도를 달성한다.

ABSTRACT

Predicting human motion in unstructured and dynamic environments is difficult as humans naturally exhibit complex behaviors that can change drastically from one environment to the next. In order to alleviate this issue, we propose to encode the lower level aspects of human motion separately from the higher level geometrical aspects, which we believe will generalize better over environments. In contrast to our prior work~\cite{kratzer2018}, we encode the short-term behavior by using a state-of-the-art recurrent neural network structure instead of a Gaussian process. In order to perform longer-term behavior predictions that account for variation in tasks and environments, we propose to make use of gradient-based trajectory optimization. Preliminary experiments on real motion data demonstrate the efficacy of the approach.

연구 동기 및 목표

• 행동 양상이 설정에 따라 크게 달라지는 비정형적이고 동적인 환경에서 복잡한 인간 운동을 예측하는 데 도전한다.
• 운동 예측에서 가우시안 프로세스 기반 모델의 확장성 한계를 극복하기 위해 이를 딥러닝 대체 기술로 대체한다.
• 궤적 최적화를 통해 환경 및 작업 수준의 제약 조건을 통합함으로써 장기 예측 정확도를 향상시킨다.
• 저수준의 동역학 학습과 고수준의 목표 명시를 분리함으로써 다양한 인간 행동과 환경 간 일반화를 가능하게 한다.

제안 방법

• 원시 운동 캡처 데이터로부터 단기 인간 운동 동역학을 모델링하기 위해 시퀀스-투-시퀀스 GRU 네트워크를 사용하며, 향후 0.5초 간의 전신 운동학을 예측하도록 훈련한다.
• 지속적인 운동 데이터에서 고정 길이의 1초 궤적을 추출하기 위해 슬라이딩 윈도우 방식을 적용하고, 위치 편향을 방지하기 위해 무작위 기저 변환을 적용한다.
• GRU로 예측된 동역학을 궤적 최적화 프레임워크에 통합하여 목표 상태 제약 조건을 포함한 비용 함수를 최소화한다.
• 기울기 기반 최적화를 사용하여 전체 궤적을 최적화함으로써, 예측 경로가 목표 위치를 존중하면서도 학습된 동역학을 따르도록 보장한다.
• 목표 손상 위치에서의 이격을 페널티로 삼는 목표 조건 비용 함수를 사용하여 장기 예측의 정확도를 향상시킨다.
• 훈련된 GRU 모델을 그대로 유지하며, 목표 제약 조건을 포함하기 위해 최적화 단계만 수정함으로써 기존 RNN과의 즉시 통합을 가능하게 한다.

실험 결과

연구 질문

• RQ1 데이터 기반 순환 신경망이 일반화성과 확장성 유지 조건에서 가우시안 프로세스를 대체할 수 있는가?
• RQ2 궤적 최적화를 통해 목표 상태 제약 조건을 통합할 경우, 순수한 RNN 출력에 비해 장기 예측 정확도가 얼마나 향상되는가?
• RQ3 작업 특화 미세조정 없이도 GRU 기반 모델이 다양한 도약 작업과 물체 배치에 대해 얼마나 잘 일반화되는가?
• RQ4 오직 끝단 기구 목표 위치만 제공될 경우, 단순한 목표 제약 조건을 갖는 궤적 최적화가 예측 품질을 얼마나 크게 향상시키는가?
• RQ5 학습된 동역학과 최적화의 조합이 실제 인간 운동 데이터에서 복잡한 전신 운동 패턴을 처리할 수 있는가?

주요 결과

• 제안된 방법(GRU trajopt)은 GRU 기준 모델 대비 1000ms 예측에서 전신 운동의 평균 예측 오차를 42% 감소시켜, 1.19mm 오차를 기록하며 기준 모델의 1.80mm보다 우수하다.
• 1000ms 예측 수준에서 제안된 방법의 손목 오차는 0.00mm로 수렴하여 목표 위치에 완벽하게 도달하며, 선형 보간법과 GRU 기준 모델을 모두 초월한다.
• GRU trajopt 방법은 875ms에서 손목 평균 오차가 1.15mm로 기록되었고, 이는 GRU 기준 모델의 1.68mm보다 향상된 결과이다.
• 모든 시간 단계에서 낮은 오차를 유지하였으며, 500ms에서 손목 오차는 GRU 기준 모델 대비 25% 감소하여 0.87mm vs. 1.13mm를 기록하였다.
• 궤적 최적화의 사용은 오직 오른손 끝단 기구 목표 위치만 제공되더라도 예측 품질을 크게 향상시켜 인간 동역학의 효과적인 암묵적 모델링을 가능하게 한다.
• 다양한 높이의 물체를 포함한 다양한 도약 작업에 대해 잘 일반화되며, 25개의 서로 다른 도약 운동을 포함한 5분 분량의 테스트 세트에서 이를 입증하였다.