[논문 리뷰] Learning Interaction-aware Guidance Policies for Motion Planning in Dense Traffic Scenarios

Bruno Brito, Achin Agarwal외 1명|arXiv (Cornell University)|2021. 07. 09.

Autonomous Vehicle Technology and Safety참고 문헌 59인용 수 14

한 줄 요약

이 논문은 고밀도 교통 환경에서 다른 차량의 협력성에 대해 고려하여 모델 예측 제어(MPC) 플래너를 안전하고 효율적으로 병합할 수 있도록 속도 기준을 제공하는 상호작용 인식 딥 강화학습(DRL) 정책을 제안한다. 제안된 방법은 학습 기반 및 최적화 기반 기준 대비 고속도에서의 병합과 보호 없는 좌회전에서 충돌을 줄이고 성공률을 높인다.

ABSTRACT

Autonomous navigation in dense traffic scenarios remains challenging for autonomous vehicles (AVs) because the intentions of other drivers are not directly observable and AVs have to deal with a wide range of driving behaviors. To maneuver through dense traffic, AVs must be able to reason how their actions affect others (interaction model) and exploit this reasoning to navigate through dense traffic safely. This paper presents a novel framework for interaction-aware motion planning in dense traffic scenarios. We explore the connection between human driving behavior and their velocity changes when interacting. Hence, we propose to learn, via deep Reinforcement Learning (RL), an interaction-aware policy providing global guidance about the cooperativeness of other vehicles to an optimization-based planner ensuring safety and kinematic feasibility through constraint satisfaction. The learned policy can reason and guide the local optimization-based planner with interactive behavior to pro-actively merge in dense traffic while remaining safe in case the other vehicles do not yield. We present qualitative and quantitative results in highly interactive simulation environments (highway merging and unprotected left turns) against two baseline approaches, a learning-based and an optimization-based method. The presented results demonstrate that our method significantly reduces the number of collisions and increases the success rate with respect to both learning-based and optimization-based baselines.

연구 동기 및 목표

• 운전자의 의도가 관찰되지 않으며 상호작용이 핵심이 되는 고밀도 교통 환경에서 자율 주행차의 주행 도전 과제를 해결한다.
• 상호작용 모델링 부족으로 인한 보수적이거나 안전하지 않은 고밀도 상황에서의 운동 계획의 한계를 극복한다.
• 인간과 유사한 상호작용 신호(거리 및 시간 간격)를 활용하여 확장 가능하고 안전하며 상호작용적인 운동 계획 프레임워크를 개발한다.
• 딥 강화학습과 최적화 기반 계획을 통합하여 실시간에서 안전성, 타당성, 성능의 균형을 이룬다.
• 협력적, 혼합적, 비협력적 교통 조건 하에서 고속도 병합 및 보호 없는 좌회전과 같은 복잡한 운동에서 성공률 향상과 충돌 감소를 달성한다.

제안 방법

• 관측 상태(상대 위치, 속도, 간격)를 속도 기준으로 매핑하는 상호작용 인식 정책을 딥 강화학습(DRL)을 통해 학습한다.
• 상대 거리와 시간 간격을 운전자 협력성의 대체 지표로 사용하여 플래너를 안내하는 속도 명령어로 변환한다.
• 기구적 및 충돌 제약 조건을 강제하는 국소 최적화 기반 플래너(MPCC)에 DRL 정책을 글로벌 가이던스 신호로 통합한다.
• 안전성과 타당성을 보장하는 제약 조건을 갖춘 MPCC 문제를 설정하며, DRL 정책의 기준 속도를 입력으로 사용한다.
• 불가능한 해에 대한 보상이 부여된 상태-행동 쌍에 대한 페널티 신호를 통해 DRL 정책과 MPCC를 함께 훈련시켜 해법기의 신뢰성 향상과 데드락 감소를 도모한다.
• 훈련 중 다른 차량에 대해 일정 속도 모델을 사용하며, 향후 작업으로 데이터 기반의 상호작용 인식 예측 모델로 확장할 계획이다.

실험 결과

연구 질문

• RQ1 명시적 통신 없이 고밀도 교통에서 다른 운전자의 협력성을 효과적으로 추론할 수 있는 방법은 무엇인가?
• RQ2 거리 및 시간 간격과 같은 상호작용 신호에서 학습하는 DRL 기반 정책이 복잡한 운동에서 운동 계획 성능을 향상시킬 수 있는가?
• RQ3 학습 기반 또는 최적화 기반 방법과 비교해 복합 제약 조건이 있는 최적화 플래너와 통합된 학습된 상호작용 정책이 안전성과 성공률 측면에서 어떻게 성능을 내는가?
• RQ4 충돌 회피 제약 조건을 통합할 경우 고밀도 교통 환경에서 목표 도달 시간과 타당성에 어떤 영향을 미치는가?
• RQ5 제안된 프레임워크는 실제 자율 주행차에 구현 가능한 실시간 성능을 달성할 수 있는가?

주요 결과

• 제안된 IntMPC 방법은 협력적, 혼합적, 비협력적 환경에서 DRL 단독 기준 및 MPCC 단독 기준 대비 충돌 수를 크게 감소시켰다.
• 협력적 및 혼합 환경에서 IntMPC는 둘 다 유의미하게 높은 성공률을 달성했으며, 협력적인 차량과의 병합 비율이 높았고, 이는 그림 6에서 확인할 수 있다.
• 모든 환경에서 시간-목표 도달 시간 측면에서 DRL 기준 및 MPCC 기준과 유사한 수준을 유지했으며, 통계적으로 유의미한 차이가 없었고, 추가된 안전 제약 조건으로 인한 성능 저하가 없음을 시사한다.
• DRL 정책과 제어기를 함께 훈련함으로써 MPCC 해법기의 불가능한 해 수가 유의미하게 감소했으며, 이는 불가능한 상태-행동 쌍에 대한 페널티 신호 덕분이었다.
• DRL 정책은 평균 1.35 ± 0.5 ms 내에 계산되며, MPCC는 평균 3.0 ± 1.35 ms 내에 해를 구하고 있어 모든 교통 설정에서 실시간 실행 가능성을 입증했다.
• 비협력적 차량과의 병합 성공 수가 적었으며, 주로 확률적 IDM 파라미터 변동으로 인해 일시적인 간격이 발생했기 때문이다. 그러나 이는 전반적인 성공률에 큰 영향을 주지 않았다.