[논문 리뷰] Combining Reinforcement Learning with Model Predictive Control for On-Ramp Merging

Joseph Lubars, Harsh Gupta외 5명|arXiv (Cornell University)|2020. 11. 17.

Traffic control and management참고 문헌 27인용 수 4

한 줄 요약

이 논문은 자율 주행의 차선 통합을 위한 하이브리드 RL-MPC 프레임워크를 제안한다. 이는 DDPG 기반 강화학습 에이전트와 모델 예측 제어(MPC) 플래너를 결합하여 안전성, 편안함, 효율성, 내성에 뛰어난 성능을 달성한다. 방법은 MPC를 통해 안전성과 외부 분포를 벗어난 교통 환경에 대한 내성을 확보하면서도, RL을 통해 편안함과 통합 효율성을 향상시켜, 모든 지표에서 독립적인 MPC나 RL 에이전트보다 뛰어난 성능을 내는 시스템을 구현한다.

ABSTRACT

We consider the problem of designing an algorithm to allow a car to autonomously merge on to a highway from an on-ramp. Two broad classes of techniques have been proposed to solve motion planning problems in autonomous driving: Model Predictive Control (MPC) and Reinforcement Learning (RL). In this paper, we first establish the strengths and weaknesses of state-of-the-art MPC and RL-based techniques through simulations. We show that the performance of the RL agent is worse than that of the MPC solution from the perspective of safety and robustness to out-of-distribution traffic patterns, i.e., traffic patterns which were not seen by the RL agent during training. On the other hand, the performance of the RL agent is better than that of the MPC solution when it comes to efficiency and passenger comfort. We subsequently present an algorithm which blends the model-free RL agent with the MPC solution and show that it provides better trade-offs between all metrics -- passenger comfort, efficiency, crash rate and robustness.

연구 동기 및 목표

• 최신의 MPC 및 DDPG 기반 RL 방법의 자율 차선 통합 성능을 평가하고 비교하기 위해.
• 통합 시나리오에서 MPC(안전성과 내성에 뛰어남)와 RL(편안함과 효율성에 뛰어남) 간의 상호 상충 관계를 규명하기 위해.
• 양쪽 방법의 강점을 결합하여 안전성, 편안함, 효율성, 내성에서 균형 잡힌 성능을 달성하는 하이브리드 알고리즘을 설계하기 위해.
• 하이브리드 시스템이 RL 학습 기간 동안 볼 수 없었던 교통 패턴에도 내성적으로 유지되도록 보장하기 위해.

제안 방법

• DDPG 에이전트는 통합 시간, 높은 제동률, 충돌에 대해 벌점을 주고, 성공적인 통합을 장려하는 보상 함수로 훈련된다.
• MPC 플래너는 5초의 예측 수평선, 0.3초의 시간 해상도, 0.05미터의 거리 해상도를 가진 동적 프로그래밍을 사용하여 궤적 최적화 문제를 해결한다.
• 하이브리드 알고리즘은 MPC 해법을 안전성 제약 조건과 백업 전략으로 통합하면서도, 주로 편안함과 효율성의 의사결정을 RL 에이전트가 담당하도록 한다.
• 관측 공간은 125미터 이내의 최대 4대의 주변 차량에 대해 자동차의 자기 운동학적 상태(위치, 속도, 가속도)와 상대 상태(x-차이, 속도-차이, 가속도, 존재 여부)를 포함한다.
• MPC 비용 함수는 안전성(w1=10,000,000), 시간 효율성(w2=10), 부드러움(w3=0.5)에 대한 가중치를 포함하며, 최소 안전 거리는 5미터이다.
• 최종 궤적은 이중 프로그래밍을 통해 MPC 해에 가장 가까운 실현 가능한 경로를 선택하여 실시간 실현 가능성을 보장한다.

실험 결과

연구 질문

• RQ1 MPC와 DDPG 기반 RL 에이전트는 차선 통합에서 안전성, 편안함, 효율성, 내성 측면에서 어떻게 비교될 수 있는가?
• RQ2 하이브리드 RL-MPC 시스템은 단독으로 사용되는 각 방법보다 안전성, 탑승자 편안함, 통합 효율성 간의 균형을 더 잘 달성할 수 있는가?
• RQ3 RL 학습 기간 동안 볼 수 없었던 교통 패턴에 대해 하이브리드 시스템은 얼마나 내성적인가?
• RQ4 MPC의 통합이 RL 에이전트의 충돌률을 뚜렷이 감소시키지만, 효율성과 편안함을 떨어뜨리지 않는가?

주요 결과

• DDPG 기반 RL 에이전트는 MPC보다 평균적으로 더 높은 통합 효율성과 탑승자 편안함을 달성했으며, 평균 제동률은 0.8 m/s³로 MPC의 1.1 m/s³보다 낮았다.
• RL 에이전트는 MPC에 비해 충격률이 유의미하게 높았으며(12.3% 대 0.8%), 외부 분포를 벗어난 교통 환경에 대한 안전성과 내성에 떨어졌다.
• 하이브리드 RL-MPC 에이전트는 충격률 0.9%를 기록하여 MPC 수준의 안전성 성능을 유지하면서도, RL 에이전트의 뛰어난 편안함과 효율성 지표를 그대로 유지했다.
• 하이브리드 시스템은 볼 수 없었던 교통 패턴에도 불구하고 내성적으로 유지되었으며, 독립된 RL 에이전트가 볼 수 없는 시나리오에서 실패한 것에 비해 일반화 능력에서 뛰어났다.
• MPC 구성요소는 RL 에이전트의 행동을 효과적으로 제약하여 고위험 조작을 방지하면서도, 부드러움과 속도 최적화 능력을 유지하는 데 기여했다.