[논문 리뷰] Safe, Multi-Agent, Reinforcement Learning for Autonomous Driving

Shai Shalev‐Shwartz, Shaked Shammah외 1명|arXiv (Cornell University)|2016. 10. 11.

Reinforcement Learning in Robotics참고 문헌 31인용 수 367

한 줄 요약

이 논문은 학습 욕구(Desires)를 엄격 제약된 궤적 계획과 분리하고, 계층적 시간 추상을 위한 Option Graph를 활용하여 분산성과 샘플 복잡성을 감소시키는 안전 강화 학습 프레임워크를 자율 주행에 제시하며, 도전적인 double-merge 시나리오에서 시연된다.

ABSTRACT

Autonomous driving is a multi-agent setting where the host vehicle must apply sophisticated negotiation skills with other road users when overtaking, giving way, merging, taking left and right turns and while pushing ahead in unstructured urban roadways. Since there are many possible scenarios, manually tackling all possible cases will likely yield a too simplistic policy. Moreover, one must balance between unexpected behavior of other drivers/pedestrians and at the same time not to be too defensive so that normal traffic flow is maintained. In this paper we apply deep reinforcement learning to the problem of forming long term driving strategies. We note that there are two major challenges that make autonomous driving different from other robotic tasks. First, is the necessity for ensuring functional safety - something that machine learning has difficulty with given that performance is optimized at the level of an expectation over many instances. Second, the Markov Decision Process model often used in robotics is problematic in our case because of unpredictable behavior of other agents in this multi-agent scenario. We make three contributions in our work. First, we show how policy gradient iterations can be used without Markovian assumptions. Second, we decompose the problem into a composition of a Policy for Desires (which is to be learned) and trajectory planning with hard constraints (which is not learned). The goal of Desires is to enable comfort of driving, while hard constraints guarantees the safety of driving. Third, we introduce a hierarchical temporal abstraction we call an "Option Graph" with a gating mechanism that significantly reduces the effective horizon and thereby reducing the variance of the gradient estimation even further.

연구 동기 및 목표

• 다중 에이전트 교통에서 학습 기반 주행 정책의 기능 안전성을 다룬다.
• 엄격한 MDP 가정에 의존하지 않으면서 비마코프(non-Markovian) 및 다중 에이전트 동역학을 다룬다.
• 경계가 엄격한 제약으로 안전을 보장하면서 편안한 주행을 제공하는 학습 프레임워크를 개발한다.
• 그래디언트 분산 및 샘플 복잡성을 줄이기 위한 계층적 시간 추상화를 도입한다.

제안 방법

• 정책을 학습 가능한 Desires용 정책과 하드 안전 제약이 있는 비학습 경로 계획기로 분해한다.
• 마르코프 가정을 필요로 하지 않는 정책 기울기 방법과 분산 감소 기법을 사용한다.
• 계층적 추상화와 게이팅을 제공하는 Option Graph를 도입하여 수평선(horizon)과 분산을 감소시킨다.
• Desires를 속도, 차선 위치 및 상호 작용을 포착하기 위해 상품 공간 [0, v_max] × L × {g,t,o}^n로 매개화한다.
• Desires를 안전을 보장하기 위한 하드 제약이 있는 경로 비용 함수로 변환한다.

실험 결과

연구 질문

• RQ1 마르코프 가정 없이도 운전 다중 에이전트 설정에서 정책 기울기 강화 학습이 효과적으로 작동할 수 있는가?
• RQ2 RL에서 학습 효율성을 희생하지 않으면서 자율 주행의 기능 안전성을 어떻게 보장할 수 있는가?
• RQ3 Option Graph를 통한 계층적 시간 추상이 주행 정책의 그래디언트 분산을 감소시키고 샘플 효율성을 개선하는가?
• RQ4 Desires-에서-trajectory 분해가 복잡한 합류 상황에서 안전하고 편안한 주행을 가능하게 하는가?

주요 결과

• 정책 기울기는 다중 에이전트 자율 주행에서 마르코프 가정 없이도 공식화될 수 있으며, 편향되지 않은 그래디언트 추정이 여전히 가능하다.
• 안전은 Desires(학습)와 결정론적 제약 주도 경로 계획기로 정책을 분해함으로써 달성된다.
• Option Graph는 수평선을 줄이고 그래디언트 분산을 감소시키는 계층적 의사결정을 제공하여 샘플 효율성을 향상시킨다.
• Desires-투-trajectory 프레임워크는 더블 머지와 같은 도전적인 기동을 기능 안전 보장 하에 처리할 수 있음을 보여준다.