[논문 리뷰] Differentiable Integrated Motion Prediction and Planning with Learnable Cost Function for Autonomous Driving

Zhiyu Huang, Haochen Liu외 2명|arXiv (Cornell University)|2022. 07. 21.

Autonomous Vehicle Technology and Safety인용 수 5

한 줄 요약

이 논문은 자율주행을 위한 학습 가능한 비용 함수를 갖춘, 유연하고 종단간(end-to-end) 프레임워크(DIPP)를 제안한다. DIPP는 트랜스포머 기반 예측기와 기울기 기반 비선형 최적화기(예: 순차적 정수 프로그래밍)를 통합하여 계획 과정과 비용 함수 가중치에 대한 역전파(backpropagation)를 가능하게 하여, 개방형 및 폐쇄형 평가에서 인간과 유사한 궤적을 달성하며, 별도의 예측-계획 파이프라인에 비해 뛰어난 내구성과 성능을 확보한다.

ABSTRACT

Predicting the future states of surrounding traffic participants and planning a safe, smooth, and socially compliant trajectory accordingly is crucial for autonomous vehicles. There are two major issues with the current autonomous driving system: the prediction module is often separated from the planning module and the cost function for planning is hard to specify and tune. To tackle these issues, we propose a differentiable integrated prediction-planning framework (DIPP) that can also learn the cost function from data. Specifically, our framework uses a differentiable nonlinear optimizer as the motion planner, which takes as input the predicted trajectories of surrounding agents given by the neural network and optimizes the trajectory for the autonomous vehicle, enabling all operations to be differentiable, including the cost function weights. The proposed framework is trained on a large-scale real-world driving dataset to imitate human driving trajectories in the entire driving scene and validated in both open-loop and closed-loop manners. The open-loop testing results reveal that the proposed method outperforms the baseline methods across a variety of metrics and delivers planning-centric prediction results, allowing the planning module to output trajectories close to those of human drivers. In closed-loop testing, the proposed method outperforms various baseline methods, showing the ability to handle complex urban driving scenarios and robustness against the distributional shift. Importantly, we find that joint training of planning and prediction modules achieves better performance than planning with a separate trained prediction module in both open-loop and closed-loop tests. Moreover, the ablation study indicates that the learnable components in the framework are essential to ensure planning stability and performance.

연구 동기 및 목표

• 예측 및 계획 모듈이 별도로 훈련되고 비용 함수가 수동으로 조정되는 자율주행 시스템의 한계를 해결한다.
• 종단간 훈련을 통해 예측 모듈이 후속 계획 목표를 인지하도록 하여 계획 성능을 향상시킨다.
• 실제 주행 데이터에서 비용 함수 가중치를 학습하여 안전성, 편안함, 효율성 간의 트레이드오프를 자동으로 균형 잡는다.
• 계획 과정 전반에 걸쳐 유연한 최적화를 가능하게 하여 예측 및 비용 함수 가중치의 기울기 기반 학습을 허용한다.
• 폐쇄형 시뮬레이션 테스트를 통해 분포 이탈 및 악성 시나리오에 대한 내구성을 입증한다.

제안 방법

• 다중 에이전트 상황에서 주변 에이전트의 향후 궤적을 동시에 예측하기 위해 트랜스포머 기반 신경망을 사용한다.
• 예측된 궤적과 초기 계획을 기반으로 기울기 기반 비선형 최적화기(예: 순차적 정수 프로그래밍)에 입력하여 자동차의 운동 계획을 생성한다.
• 충돌 회피, 주행 편안함, 경로 준수와 같은 목표를 균형 잡는 기울기 기반 가중치를 갖는 학습 가능한 비용 함수를 도입한다.
• 계획 손실(예측된 궤적과 인간 주행 궤적 간의 차이)을 전체 파이프라인을 거쳐 역전파하여 예측 및 비용 함수 가중치를 함께 최적화한다.
• 실세계 도심 주행 데이터셋을 대규모로 활용해 전체 프레임워크를 종단간 훈련하여 인간의 행동을 모방한다.
• 실제 배포의 내구성을 평가하기 위해 개방형(직접 궤적 비교) 및 폐쇄형(전개된 시뮬레이션) 테스트를 모두 활용해 검증한다.

실험 결과

연구 질문

• RQ1 예측 및 계획 모듈을 함께 훈련할 경우 별도 훈련 대비 계획 성능 향상이 이루어지는가?
• RQ2 실제 주행 데이터에서 유도된 학습 가능한 비용 함수가 복잡한 도심 주행 환경에서 수동 조정된 비용 함수를 능가하는가?
• RQ3 종단간 기울기 기반 훈련이 폐쇄형 환경에서 분포 이탈에 대한 일반화 및 내구성 향상에 기여하는가?
• RQ4 학습 가능한 구성요소(예측, 비용 함수, 계획기)가 계획 안정성 및 성능에 얼마나 기여하는가?
• RQ5 기울기 기반 최적화를 허용하는 유연한 계획기가 예측 및 비용 함수 가중치의 기울기 기반 최적화를 가능하게 하여 더 인간과 유사한 궤적을 도출하는가?

주요 결과

• DIPP 프레임워크는 계획 정확도, 주행 편안함, 안전성 등 다양한 지표에서 개방형 테스트에서 베이스라인 방법을 모두 능가한다.
• 폐쇄형 테스트에서 DIPP는 파이프라인 기반 및 이미테이션 러닝 기반 방법을 크게 능가하며, 분포 이탈 및 악성 에이전트에 대한 내구성을 입증한다.
• 예측 및 계획 모듈을 함께 훈련함으로써 별도 훈련 대비 성능 향상을 이룬다. 특히 계획기는 계획 인지 예측에서 유의미한 이점을 얻는다.
• 절단 실험(ablation studies) 결과, 모든 학습 가능한 구성요소—예측, 비용 함수, 계획기—가 최적화기 안정성 유지 및 높은 계획 성능 달성에 필수적임을 확인한다.
• 학습된 비용 함수 가중치는 인간 주행 관점에서 타당한 것으로 평가되며, 경로 준수와 주행 편안함이 가장 큰 영향을 미치고, 조향 각도는 최소한의 영향을 미친다.
• 실시간 최적화에 대한 미래 프로토타입으로서는 높은 런타임(1.78초/추론, CPU 기준)에도 불구하고 뛰어난 성능을 보이며 실현 가능하다.