[논문 리뷰] Model-free Deep Reinforcement Learning for Urban Autonomous Driving

Jianyu Chen, Bodi Yuan외 1명|arXiv (Cornell University)|2019. 04. 20.

Reinforcement Learning in Robotics참고 문헌 32인용 수 29

한 줄 요약

이 논문은 샘플 복잡도를 줄이기 위해 새롭게 제안된 조망도 입력 표현과 시각적 인코딩을 사용하는 모델리스 딥 강화학습 프레임워크를 제안한다. 높은 정밀도의 원형 교차로 시뮬레이션 환경에서 밀도 높은 교통 상황에서 SAC, TD3, DDQN 알고리즘을 사용해 에이전트를 성공적으로 훈련시켰으며, SAC를 사용할 경우 목표 지점 도달 성공률가 58%에 도달하여 기준선을 크게 뛰어넘고 다중 에이전트 상호작용 학습의 강건성을 입증하였다.

ABSTRACT

Urban autonomous driving decision making is challenging due to complex road geometry and multi-agent interactions. Current decision making methods are mostly manually designing the driving policy, which might result in sub-optimal solutions and is expensive to develop, generalize and maintain at scale. On the other hand, with reinforcement learning (RL), a policy can be learned and improved automatically without any manual designs. However, current RL methods generally do not work well on complex urban scenarios. In this paper, we propose a framework to enable model-free deep reinforcement learning in challenging urban autonomous driving scenarios. We design a specific input representation and use visual encoding to capture the low-dimensional latent states. Several state-of-the-art model-free deep RL algorithms are implemented into our framework, with several tricks to improve their performance. We evaluate our method in a challenging roundabout task with dense surrounding vehicles in a high-definition driving simulator. The result shows that our method can solve the task well and is significantly better than the baseline.

연구 동기 및 목표

• 고차원 관측과 다중 에이전트 상호작용을 수반하는 복잡한 도심 환경에서 수동으로 설계된 주행 정책의 한계를 해결하기 위해.
• 구조화된 입력 표현을 통해 엔드 투 엔드 딥 강화학습의 높은 샘플 복잡도와 열악한 일반화 능력을 극복하기 위해.
• 전문가 지시 없이도 현실적인 도심 주행 시나리오에서 모델리스 딥 강화학습 알고리즘의 효과적인 훈련을 가능하게 하기 위해.
• 맞춤형 아키텍처 및 훈련 수정을 통해 샘플 효율성과 학습 안정성을 향상시키기 위해.
• 밀도 높은 상호작용 교통 상황에서 학습된 정책의 강건성과 일반화 능력을 평가하기 위해.

제안 방법

• 속도를 암묵적으로 표현하기 위해 흐리게 변하는 색상의 경계 상자로 차량 위치, 차선, 목표 지점을 인코딩하는 조망도 입력 표현을 설계한다.
• 고차원 시각적 입력을 저차원 잠재 상태로 압축하기 위해 컨volutional 신경망을 사용하여 관측 공간의 복잡도를 감소시킨다.
• 최신 모델리스 딥 강화학습 알고리즘인 DDQN, TD3, SAC를 적용하며, 탐색 전략, 프레임 스킵, 보상 형상화에 대한 수정을 시행한다.
• 안전한 거리 유지, 적절한 시점의 퇴출, 경로 따르기 등을 강조하는 프레임 스킵과 보상 형상화를 적용하여 정책 학습을 이끌어낸다.
• 최대 100대의 주변 차량이 존재하는 현실적인 원형 교차로 환경에서 정책을 훈련 및 평가하기 위해 고해상도 드라이빙 시뮬레이터(CARLA)를 사용한다.
• 시각적 인코딩을 위해 CNN 기반 오토인코더를 활용하여 입력 상태를 재구성함으로써 에이전트가 관련 있는 공간적 및 시간적 동역학에 집중할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 구조화된 입력 표현을 사용하는 모델리스 딥 강화학습 프레임워크는 밀도 높은 교통 상황에서 복잡한 도심 시나리오에서 효과적인 주행 정책을 학습할 수 있는가?
• RQ2 입력 표현 선택(조망도 vs. 전방 시점 영상)이 자동주행에서 샘플 효율성과 정책 성능에 어떤 영향을 미치는가?
• RQ3 최신 딥 강화학습 알고리즘(SAC, TD3, DDQN)은 전문가 지시 없이도 도전적인 도심 주행 과제에 얼마나 잘 일반화되는가?
• RQ4 입력 상태의 시각적 인코딩이 학습 안정성 향상과 샘플 복잡도 감소에 어떤 역할을 하는가?
• RQ5 다양한 탐색 전략과 훈련 기법은 다중 에이전트 도심 환경에서 정책 수렴과 성공률에 어떤 영향을 미치는가?

주요 결과

• SAC는 140개의 훈련 에포크 후 목표 지점 도달 성공률가 58%를 기록하여 DDQN(0%)과 TD3(0%)를 크게 앞서며 가장 높은 성능을 보였다.
• SAC로 훈련된 자율주행 차량은 대기 중 교통을 양보하고 적절한 차선 변경을 수행하며 원형 교차로를 안정적으로 통과하여 다중 에이전트 상호작용의 강건성을 입증하였다.
• DDQN과 TD3는 첫 번째 퇴출 이후 성공률가 감소하여 두 번째 퇴출에서 각각 2%와 0%로 떨어졌으며, 이는 탐색 능력 부족과 복잡한 상호작용 처리의 어려움을 시사한다.
• 기준선 방법은 완전히 실패하였으며 국소 최적점에 갇혀 반복적으로 오른쪽으로 회전하는 바람에 복잡한 시나리오에서 기본 DQN의 한계를 드러냈다.
• 실패 사례의 주요 원인은 추돌 사고였으며, 이는 흐리게 변하는 색상 인코딩에도 불구하고 현재 입력 표현에서 속도 정보가 충분히 반영되지 못하고 있음을 시사한다.
• 시각적 인코딩 과정은 입력 차원을 효과적으로 감소시켰지만, 재구성된 이미지에서 속도 신호의 가시성이 떨어지기도 하여 개선된 상태 표현이 필요함을 시사한다.