[논문 리뷰] Navigating Intersections with Autonomous Vehicles using Deep Reinforcement Learning

David Isele, Akansel Cosgun외 2명|arXiv (Cornell University)|2017. 05. 02.

Autonomous Vehicle Technology and Safety참고 문헌 32인용 수 35

한 줄 요약

이 논문은 동적인 교통 상호작용으로부터 학습함으로써 무등교차로에서 자율주행차가 안전하고 효율적으로 주행할 수 있도록 하는 딥 강화학습(DRL) 기반 접근법을 제안한다. 이 방법은 작업 완료 시간과 성공률 측면에서 규칙 기반 히وري스틱보다 뛰어나며, 가림을 다루기 위해 능동적 센싱 행동을 발견하지만 일반화 능력은 여전히 제한되어 있다.

ABSTRACT

Providing an efficient strategy to navigate safely through unsignaled intersections is a difficult task that requires determining the intent of other drivers. We explore the effectiveness of Deep Reinforcement Learning to handle intersection problems. Using recent advances in Deep RL, we are able to learn policies that surpass the performance of a commonly-used heuristic approach in several metrics including task completion time and goal success rate and have limited ability to generalize. We then explore a system's ability to learn active sensing behaviors to enable navigating safely in the case of occlusions. Our analysis, provides insight into the intersection handling problem, the solutions learned by the network point out several shortcomings of current rule-based methods, and the failures of our current deep reinforcement learning system point to future research directions.

연구 동기 및 목표

• 운전자의 의도가 모호한 무등교차로에서 자율주행차가 안전하게 주행할 수 있도록 강화학습 기반 정책을 개발하는 것.
• 딥 강화학습이 무등교차로 주행 작업에서 기존 규칙 기반 히وري스틱보다 우수한 성능을 보일 수 있는지 평가하는 것.
• 가림으로 인한 위험을 줄이기 위해 에이전트가 능동적 센싱 행동을 학습할 수 있는지 조사하는 것.
• 현재 DRL 시스템의 무등교차로 주행에 대한 한계를 규명하고 향후 연구 방향을 제안하는 것.

제안 방법

• 이 접근법은 주변 교통 상황을 관찰함으로써 실시간 결정을 내리는 데 중점을 두고, 에이전트를 무등교차로에서 학습시키기 위해 딥 강화학습을 활용한다.
• 에이전트는 차량의 위치, 속도, 가림 상태를 관찰하여 교통 역학을 추론하고 행동을 계획한다.
• 작업 완료를 위한 희박한 밀도 보상 형태를 최대화하는 정책을 학습하기 위해 딥 Q네트워크(DQN) 또는 유사한 DRL 아키텍처를 사용한다.
• 다양한 교통 시나리오를 포함한 시뮬레이션 환경에서 학습하여 시스템의 강건성을 향상시킨다.
• 보상 함수를 통해 능동적 센싱 행동이 암묵적으로 학습되며, 에이전트가 불확실성을 줄이기 위해 위치나 속도를 조정하도록 유도한다.
• 작업 완료 시간, 목표 성공률, 충돌 빈도와 같은 지표를 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 기반 에이전트가 무등교차로 주행에서 규칙 기반 히وري스틱보다 뛰어나게 작동할 수 있는가?
• RQ2 에이전트는 가림으로 인한 불확실성을 줄이기 위해 어떤 능동적 센싱 행동을 학습하는가?
• RQ3 학습된 정책은 다양한 교통 상황과 교차로 기하학적 구조에 대해 얼마나 잘 일반화되는가?
• RQ4 현재 접근법의 한계를 드러내는 DRL 시스템의 실패 유형은 무엇인가?

주요 결과

• DRL 기반 에이전트는 시뮬레이션 환경에서 히وري스틱 기반 기준보다 더 높은 목표 성공률를 달성했다.
• 에이전트는 평균 작업 완료 시간을 단축시켜 교차로 통과 시 효율성이 향상됨을 나타냈다.
• 시스템은 불확실성이 높은 가림 상황에서 속도나 위치를 조정하는 등 능동적 센싱 행동을 학습했다.
• 개선된 성능에도 불구하고, 정책은 다양한 교차로 레이아웃이나 교통 밀도에 대해 일반화 능력이 제한되어 있었다.
• DRL 시스템의 실패 원인은 주로 훈련 시나리오에 과적합되고 분포 이탈에 민감하기 때문이었다.
• 결과적으로 기존 규칙 기반 방법의 한계점, 즉 동적인 교통 조건에서의 유연성 부족이 드러났다.