[논문 리뷰] DiffStack: A Differentiable and Modular Control Stack for Autonomous Vehicles

Péter Karkus, Boris Ivanovic외 2명|arXiv (Cornell University)|2022. 12. 13.

Autonomous Vehicle Technology and Safety인용 수 5

한 줄 요약

DiffStack는 자율주행차를 위한 미분 가능하고 모듈러한 제어 스택을 도입하여 학습된 운동 예측과 미분 가능 모델 예측 제어(MPC) 및 계획을 통합함으로써 의사결정 구성 요소를 통해 종단 간 역전파를 가능하게 한다. 이 접근 방식은 개방형 평가 지표에서 계획 성능을 최대 15% 향상시키고, 폐쇄형 시뮬레이션에서 차선 유지 및 제어 노력 비용을 감소시켜, 계획 인지 예측이 해석 가능성 손실 없이 후속 의사결정을 향상시킬 수 있음을 보여준다.

ABSTRACT

Autonomous vehicle (AV) stacks are typically built in a modular fashion, with explicit components performing detection, tracking, prediction, planning, control, etc. While modularity improves reusability, interpretability, and generalizability, it also suffers from compounding errors, information bottlenecks, and integration challenges. To overcome these challenges, a prominent approach is to convert the AV stack into an end-to-end neural network and train it with data. While such approaches have achieved impressive results, they typically lack interpretability and reusability, and they eschew principled analytical components, such as planning and control, in favor of deep neural networks. To enable the joint optimization of AV stacks while retaining modularity, we present DiffStack, a differentiable and modular stack for prediction, planning, and control. Crucially, our model-based planning and control algorithms leverage recent advancements in differentiable optimization to produce gradients, enabling optimization of upstream components, such as prediction, via backpropagation through planning and control. Our results on the nuScenes dataset indicate that end-to-end training with DiffStack yields substantial improvements in open-loop and closed-loop planning metrics by, e.g., learning to make fewer prediction errors that would affect planning. Beyond these immediate benefits, DiffStack opens up new opportunities for fully data-driven yet modular and interpretable AV architectures. Project website: https://sites.google.com/view/diffstack

연구 동기 및 목표

• 예측, 계획, 제어의 복합 오류와 통합 과제를 해결하기 위해 예측, 계획, 제어의 공동 최적화를 가능하게 하는 것.
• 수동으로 설계된 계획 및 제어 모듈의 해석 가능성과 공식적 보장 조건을 유지하면서 이를 데이터 기반 훈련에 적합한 미분 가능 형태로 만드는 것.
• 학습된 알고리즘을 대규모 데이터셋인 nuScenes와 같은 데이터셋으로 훈련된 실세계 자율주행차 스택에 조합할 수 있음을 보여주는 것.
• 예측 모델을 후속 제어 목표에 대해 최적화하여 기울기 흐름을 통해 계획 인지 예측을 가능하게 하는 것.
• 완전히 데이터 기반이면서도 모듈러하고 해석 가능한 자율주행 아키텍처를 위한 새로운 길을 여는 것.

제안 방법

• 학습된 신경망을 사용한 운동 예측 모듈과 미분 가능 모델 예측 제어(MPC) 및 계획 알고리즘을 포함하는 모듈러한 자율주행차 스택을 도입한다.
• MPC 컨트롤러와 플래너를 미분 가능하게 만들기 위해 미분 가능 최적화 기법을 사용하여 제어 손실에서 예측 모듈로 기울기 역전파를 가능하게 한다.
• 경로 후보를 생성하는 미분 가능 플래너와 미분 가능 제약 조건을 포함한 볼록 최적화를 통해 제어 조작을 계산하는 미분 가능 컨트롤러를 사용한다.
• 최종 제어 목표에서 유도된 기울기를 사용하여 예측 모듈을 종단 간 훈련하며, 이로 인해 후속 계획 및 제어 비용을 최소화하는 예측을 학습할 수 있도록 한다.
• 실제 주행 시나리오를 반영한 폐쇄형 시뮬레이션 환경을 구축하여 nuScenes 데이터셋을 활용해 성능을 평가한다.
• 모든 항목이 최적화에 적합하도록, 궤적 비용, 충돌 비용, 차선 유지 비용, 제어 노력 비용을 포함하는 복합 비용 함수를 계획 단계에 사용한다.

실험 결과

연구 질문

• RQ1 실세계 자율주행차 스택에서 미분 가능하게 설계된 수동 계획 및 제어 알고리즘과 학습된 예측 모델을 효과적으로 조합할 수 있는가?
• RQ2 계획 및 제어를 통해 기울기 흐름이 이루어지는 종단 간 훈련이 의사결정을 위한 예측 품질을 얼마나 향상시키는가?
• RQ3 폐쇄형 계획 및 제어 성능 측면에서 전통적인 모듈러 스택과 비교해 미분 가능 스택은 어떤가?
• RQ4 하류 제어 목표에 따라 훈련될 때 예측 모듈이 계획에 악영향을 미치는 오류를 줄일 수 있는가?
• RQ5 미분 가능 스택이 여전히 데이터 기반 성능 향상을 달성하면서도 해석 가능하고 모듈러한 아키텍처를 가능하게 할 수 있는가?

주요 결과

• DiffStack는 계획 인지 예측을 학습함으로써 기존 모듈러 스택 대비 개방형 평가 지표에서 최대 15% 향상된 계획 성능을 기록한다.
• 폐쇄형 시뮬레이션에서 DiffStack는 표준 스택 대비 궤적 비용을 4.37×10⁻²로 줄였고, 표준 스택은 0.87×10⁻²이므로 전체 계획 성능 향상이 뚜렷하다.
• DiffStack는 표준 스택 대비 차선 유지 비용(4.84×10⁻² 대비 8.91×10⁻²)과 제어 노력 비용(0.99×10⁻² 대비 0.18×10⁻²)을 모두 낮춰 더 스무스하고 안정적인 주행을 구현한다.
• 표준 스택은 폐쇄형 평가에서 개방형 평가보다 성능이 열 劣하므로, 통합 오류와 낮은 예측 품질이 동적 환경에서 성능 저하를 초래함을 시사한다.
• DiffStack는 인위적으로 유도된 통합 오류를 보완하고 비용 함수를 조정하여 인간 주행 행동과 더 유사한 계획을 생성한다.
• 결과적으로, 미분 가능 스택이 예측, 계획, 제어를 공동 최적화하면서도 모듈성, 해석 가능성, 검증 가능성을 유지할 수 있음을 입증한다.