[논문 리뷰] Imitation with Spatial-Temporal Heatmap: 2nd Place Solution for NuPlan Challenge

Yihan Hu, Kun Li외 8명|arXiv (Cornell University)|2023. 06. 26.

Autonomous Vehicle Technology and Safety인용 수 8

한 줄 요약

요약: 공간-시간 히트맵을 이용해 자극 경로와 주변 점유를 예측하는 행동 복제 기반 플래너를 제안하고, 안전성과 편안함을 위한 포스트 솔버를 뒤따르면 NuPlan 2023에서 2위를 차지하며 자극 진행도와 편안함이 상위로 나타났습니다.

ABSTRACT

This paper presents our 2nd place solution for the NuPlan Challenge 2023. Autonomous driving in real-world scenarios is highly complex and uncertain. Achieving safe planning in the complex multimodal scenarios is a highly challenging task. Our approach, Imitation with Spatial-Temporal Heatmap, adopts the learning form of behavior cloning, innovatively predicts the future multimodal states with a heatmap representation, and uses trajectory refinement techniques to ensure final safety. The experiment shows that our method effectively balances the vehicle's progress and safety, generating safe and comfortable trajectories. In the NuPlan competition, we achieved the second highest overall score, while obtained the best scores in the ego progress and comfort metrics.

연구 동기 및 목표

• 복합 다중 모드 자율주행 시나리오에서 안전하고 효율적인 계획을 동기화한다.
• 다중 모드 자극 경로와 주변 동역학을 예측하는 다단 imitation 학습 시스템을 개발한다.
• 계획의 다중 모드 및 불확실성을 포착하기 위한 공간-시간 히트맵 표현을 도입한다.
• 운전 제원 및 편안함 제약을 준수하는 다운스트림 최적화(포스트-솔버)로 예측 경로를 개선한다.

제안 방법

• ego 상태, 다른 에이전트의 이력, 맵 및 경로 정보, 그리고 ego 속도를 포착하는 여섯 채널 래스터 입력을 사용한다.
• ResNet50 백본과 Unet 유사 넥을 갖춘 인코더-디코더 아키텍처로 다중 스케일 특성을 생성한다.
• 세 가지 헤드: ego 경로 예측, ego 히트맵 예측, 주변 에이전트 점유 예측.
• ego 히트맵은 0.25m/픽셀까지 업샘플링하고 Gaussian 타깃으로 감독하여 각 시간 스텝의 미세한 공중 뷰 위치 확률을 예측한다.
• 점유(head)는 각 시간 스텝마다 주변 에이전트에 대한 확률적 격자를 출력한다.
• 포스트-솔버(CasADi ipopt)는 imitation 손실, 히트맵/점유 페널티, 충돌 밀도를 결합한 비용으로 초기 경로를 다듬고 차량의 운동학 및 편안함 제약을 준수한다.

실험 결과

연구 질문

• RQ1 공간-시간 히트맵 표현이 단일 경로 출력에 비해 계획의 다중 모달성 처리를 향상시킬 수 있는가?
• RQ2 ego 히트맵과 함께 주변 점유 예측을 통합하면 폐쇄 루프 평가에서 더 안전하고 편안한 경로를 만들어내는가?
• RQ3 실제 NuPlan 시나리오에서 포스트 최적화 단계가 안전성, 주행 가능 영역 준수 및 편안함에 어떤 영향을 미치는가?
• RQ4 데이터 증강의 교란 기반 방법이 개방 루프 및 폐쇄 루프 성능에 미치는 영향은 무엇인가?

주요 결과

순위	방법	최종 점수	개방 루프 (ch1)	클로즈드 루프- nr (ch2)	클로즈드 루프- r (ch3)	충돌	TTC	주행 가능	편안함	진행	속도 제한	방향
1	CS_Tu	0.90	0.83	0.93	0.93	0.99	0.93	1.00	0.92	0.91	1.00	1.00
2	hoplan(Ours)	0.87	0.85	0.89	0.88	0.96	0.91	0.99	0.99	0.92	0.96	0.99
3	pegasus_multipath	0.85	0.88	0.82	0.85	0.93	0.88	0.95	0.93	0.79	0.93	0.95
4	GameFormer	0.83	0.84	0.81	0.84	0.94	0.88	0.96	0.94	0.84	0.97	0.99

• 공간-시간 히트맵 기반 계획 방식이 강력한 폐쇄 루프 성능을 달성하고 다중 모달성 처리를 향상시킨다.
• 포스트 솔버 최적화가 폐쇄 루프 테스트에서 충돌 회피 및 주행 가능 영역 준수를 크게 향상시킨다.
• 교란 기반 데이터 증강이 개방 루프 및 폐쇄 루프 성능과 데이터 활용도를 모두 향상시킨다.
• 해당 방법은 개인 테스트 세트에서 NuPlan 경쟁자들 중 최고 수준의 ego 편안함과 진행 점수를 달성했다.
• 히트맵 및 점유 감독이 있는 다중 작업 학습 설정이 다수의 에이전트 환경에서 단일 경로 기반 대비 우수하다.