[논문 리뷰] MATS: An Interpretable Trajectory Forecasting Representation for Planning and Control

Boris Ivanovic, Amine Elhafsi외 3명|arXiv (Cornell University)|2020. 09. 16.

Advanced Database Systems and Queries인용 수 20

한 줄 요약

이 논문은 운전자가 시간에 따라 변화하는 선형-아핀 동적 시스템으로 행동을 모델링함으로써 운동 계획기와 직접 통합할 수 있는 새로운 궤적 예측 표현인 MATS(Mixture of Affine Time-varying Systems)를 제안한다. 다중 모드 예측을 시간에 따라 변화하는 시스템 행렬로 인코딩함으로써 MATS는 50ms의 QP 해법 시간과 트랙렛 기반 방법 대비 100배 빠른 계획을 가능하게 하며, 24명의 에이전트와 552개의 상호작용을 고려한 상황에서도 효율적인 상호작용 인식 기반 운동 계획을 실현한다.

ABSTRACT

Reasoning about human motion is a core component of modern human-robot interactive systems. In particular, one of the main uses of behavior prediction in autonomous systems is to inform robot motion planning and control. However, a majority of planning and control algorithms reason about system dynamics rather than the predicted agent tracklets (i.e., ordered sets of waypoints) that are commonly output by trajectory forecasting methods, which can hinder their integration. Towards this end, we propose Mixtures of Affine Time-varying Systems (MATS) as an output representation for trajectory forecasting that is more amenable to downstream planning and control use. Our approach leverages successful ideas from probabilistic trajectory forecasting works to learn dynamical system representations that are well-studied in the planning and control literature. We integrate our predictions with a proposed multimodal planning methodology and demonstrate significant computational efficiency improvements on a large-scale autonomous driving dataset.

연구 동기 및 목표

• 자율 시스템에서 궤적 예측와 후속 운동 계획 간의 통합 격차를 해소하기 위해.
• 다중 모드 예측을 동적 시스템 파라미터로 인코딩함으로써 실시간 계획을 효율적으로 가능하게 하는 표현을 개발하기 위해.
• 복잡한 교통 상황에서 안전성과 상호작용 인식을 유지하면서도 계획의 계산 비용을 감소시키기 위해.
• 계획기가 자동차의 제어 조작이 예측된 에이전트 행동에 미치는 영향을 사후적으로 평가할 수 있도록 하기 위해.
• 대규모 실세계 시나리오에서 트랙렛 기반 계획 방법에 비해 뚜렷한 효율성 향상을 입증하기 위해.

제안 방법

• MATS는 시간에 따라 변화하는 행렬 A, B, c로 파arameter화된 시간에 따라 변화하는 선형-아핀 동적 시스템의 혼합으로 에이전트 궤적을 표현한다.
• 모델은 시간에 따라 변화하는 시스템 행렬을 통해 에이전트 간의 상호작용 및 자동차의 影향을 학습하며, 특히 자동차가 다른 이들에게 미치는 영향을 기록하는 B 행렬에 중점을 둔다.
• 다중 모드 계획 프레임워크는 MATS 표현을 사용하여 자동차 제어 시퀀스를 최적화하면서도 예측된 에이전트 반응을 함께 최적화한다.
• 계획기는 다중 병렬 예측 수평선(가장 가능성 있는 모드에 해당)을 가진 모델 예측 제어(MPC) 공식화를 사용하며, 이는 볼록 QP로 해결된다.
• 시스템은 nuScenes 데이터셋에서 엔드 투 엔드로 훈련되며, 예측과 계획 모두에 공유 파라미터를 사용한다.
• 이 방법은 A, B, c 행렬의 블록이 에이전트 동역학과 상호작용을 나타내는 시공간 그래프 구조를 활용한다.

실험 결과

연구 질문

• RQ1 MATS와 같은 동적 시스템 표현이 실세계 교통 상황에서 복잡하고 다중 모드의 인간 행동을 효과적으로 모델링할 수 있는가?
• RQ2 트랙렛 기반 예측 방법에 비해 MATS는 운동 계획에서 얼마나 높은 계산 효율성을 제공하는가?
• RQ3 MATS는 계획기가 자동차의 조작이 예측된 에이전트 행동에 미치는 영향을 어느 정도로 추론할 수 있도록 하는가?
• RQ4 MATS는 효율적이고 상호작용을 고려한 계획을 가능하게 하면서도 충분한 예측 정확도를 유지하는가?
• RQ5 MATS 기반 계획은 도심 교차로와 같은 복잡한 다중 에이전트 환경에서 안전하고 부드러운 궤적을 생성할 수 있는가?

주요 결과

• MATS 표현은 CPU에서 평균 50ms의 QP 해법 시간으로 운동 계획을 수행할 수 있으며, 트랙렛 기반 방법보다 훨씬 빠르다.
• 24명의 에이전트가 포함된 교차로 시나리오에서, 제안된 방법은 단 한 명의 에이전트에 대해서만 계획을 수행하는 트랙렛 기반 방법이 소요하는 시간 동안 모든 에이전트와 그들의 552개의 방향성 상호작용을 계획할 수 있다.
• 계획 시간은 단계당 0.25초(TBPP)에서 50ms 이하로 감소하여 계획 주파수에서 5배의 속도 향상을 달성했다.
• 자신의 차량이 교차로의 중심에 있을 때 B 행렬이 다른 에이전트에 미치는 영향이 최대에 도달함으로써 물리적 타당성이 확인되었다.
• 모델은 구조적 제약로 인한 예측 정확도의 약간의 흐름이 있음에도 불구하고 강력한 예측 성능을 유지하면서 효율적인 계획을 가능하게 했다.
• 기타 에이전트의 속도가 변동할 때조차도 계획기는 충돌을 피하고 교통을 방해하지 않는 안전하고 부드러운 궤적을 성공적으로 생성했다.