[논문 리뷰] An End-to-end Deep Reinforcement Learning Approach for the Long-term Short-term Planning on the Frenet Space

Majid Moghadam, Ali Alizadeh외 2명|arXiv (Cornell University)|2020. 11. 26.

Autonomous Vehicle Technology and Safety참고 문헌 32인용 수 6

한 줄 요약

이 논문은 복잡한 동적 교통 조건에서 고속도로 자율 주행을 위한 엔드 투 엔드 연속 딥 강화학습(DRL) 프레임워크를 제안한다. 이 프레임워크는 Frenet 좌표계에서 직접 작동하여 부드럽고 연속적인 시공간 경로 생성을 가능하게 한다. 상태 공간과 행동 공간을 모두 Frenet 좌표계로 모델링하고 과거 경로에 대한 시간적 컨volution 블록을 사용함으로써, 이론적 DRL 및 규칙 기반 기준선 대비 복잡한 교통 상황에서 뛰어난 성능을 달성한다. 특히 동적 차선 변경 및 고밀도 교통 탈출 동작에서 두각을 나타낸다.

ABSTRACT

Tactical decision making and strategic motion planning for autonomous highway driving are challenging due to the complication of predicting other road users' behaviors, diversity of environments, and complexity of the traffic interactions. This paper presents a novel end-to-end continuous deep reinforcement learning approach towards autonomous cars' decision-making and motion planning. For the first time, we define both states and action spaces on the Frenet space to make the driving behavior less variant to the road curvatures than the surrounding actors' dynamics and traffic interactions. The agent receives time-series data of past trajectories of the surrounding vehicles and applies convolutional neural networks along the time channels to extract features in the backbone. The algorithm generates continuous spatiotemporal trajectories on the Frenet frame for the feedback controller to track. Extensive high-fidelity highway simulations on CARLA show the superiority of the presented approach compared with commonly used baselines and discrete reinforcement learning on various traffic scenarios. Furthermore, the proposed method's advantage is confirmed with a more comprehensive performance evaluation against 1000 randomly generated test scenarios.

연구 동기 및 목표

• 복잡하고 동적인 교통 조건에서 고속도로 자율 주행의 장기적 의사결정 및 단기 경로 계획 문제를 해결한다.
• 기존 DRL 및 규칙 기반 방법의 이산 행동 공간과 고정된 경로 생성 방식의 한계를 극복한다.
• 원시 센서 관측치에서 이산화 없이 연속적이고 운동학적으로 타당한 경로로 직접 매핑하는 엔드 투 엔드 학습을 가능하게 한다.
• Frenet 좌표계 표현을 활용해 곡률에 영향을 받지 않는 행동 계획을 통해 고밀도 교통 상황에서의 기동성과 적응성을 향상시킨다.
• 고정밀 CARLA 시뮬레이션을 사용해 1,000개의 랜덤으로 생성된 고속도로 시나리오에 걸쳐 강인성과 일반화 능력을 입증한다.

제안 방법

• 상태 공간을 Frenet 좌표계(s, d, v, a)로 표현하여 종방향 및 횡방향 운동을 분리하고 도로 곡률에 대한 민감도를 감소시킨다.
• 주변 차량의 시간 시리즈 경로를 처리하기 위해 1차원 시간 컨volution 신경망(TCN)을 사용하여 과거 관측치에서 시공간 특징을 추출한다.
• 연속 행동 공간을 사용하여 Frenet 좌표계에서 피드백 추적을 위한 부드럽고 다항식 기반의 시공간 경로(예: 오차다항식)를 생성한다.
• 속도, 안전성, 승차감을 균형 잡는 보상 함수를 사용해 Proximal Policy Optimization(PPO)를 이용해 엔드 투 엔드 DRL 에이전트를 훈련시킨다.
• DRL 에이전트가 고수준 계획자로 작동하는 계층적 아키텍처를 통합하여 이산 랙소 또는 웨이포인트 격자에 의존하지 않고 직접 경로를 출력한다.
• 다양한 교통 상황, 예를 들어 고밀도 교통, 차선 통합, 고속도로 차선 변경을 포함한 CARLA 시뮬레이션에서 성능을 검증한다.

실험 결과

연구 질문

• RQ1 Frenet 좌표계에서 엔드 투 엔드 연속 DRL 에이전트가 이산 DRL 및 규칙 기반 기준선 대비 장기적 고속도로 경로 계획에서 승리할 수 있는가?
• RQ2 Frenet 공간 표현 방식이 도로 곡률에 대한 강인성을 향상시키고 고밀도 교통 상황에서 기동성을 향상시키는 데 어떤 영향을 미치는가?
• RQ3 연속 행동 공간 DRL이 행동 공간을 이산화하지 않고도 안전하고 편안하며 효율적인 경로를 학습할 수 있는 정도는 어느 정도인가?
• RQ4 다양한 교통 밀도와 차량 동역학을 가진 1,000개의 랜덤으로 생성된 고속도로 시나리오에 대해 에이전트는 얼마나 잘 일반화되는가?
• RQ5 경로 계획에 있어 연속적 DRL과 이산적 DRL 접근 방식 간의 계산 비용과 성능 간의 상충 관계는 어떠한가?

주요 결과

• 엔드 투 엔드 연속 DRL 에이전트는 1,000개의 테스트 시나리오에서 평균 성능 점수 69점(만점 100점)을 기록하여, 안전 기반(65점) 및 민첩 기반(52점) 규칙 기반 기준선을 모두 능가했다.
• 고밀도 교통 탈출 시나리오에서 연속 DRL 에이전트는 차량들 사이를 안전하게 통과하는 경로를 성공적으로 생성했고, 이산 에이전트는 고정된 랙소 제약 조건으로 인해 실패하여 뒤따라 오는 차량에 끌려갔다.
• 연속 DRL 에이전트는 속도 76%, 안전성 52%, 승차감 78%의 균형을 달성하여, 이산 행동 공간의 이론적 DRL 기준선 대비 경쟁 목표 간의 우월한 조율을 보였다.
• 이론적 DRL 에이전트와 달리, 이 방법은 경로 복잡도에 관계없이 일관된 계산 비용을 유지했다. 이는 더 세밀한 이산화로 인해 성능이 떨어지는 이산 에이전트와 대비된다.
• Frenet 기반 상태 표현 방식은 다양한 도로 곡률과 교통 상호작용에 대해 성능 저하 없이 일반화를 가능하게 했다.
• 특히 고속도로에서의 차선 통합 및 차선 변경 작업에서 연속 DRL 에이전트는 이산 에이전트가 타당한 경로를 생성하지 못하는 고속도로, 낮은 간격 상황에서도 뛰어난 기동성을 보였다.