[논문 리뷰] Behavioral decision-making for urban autonomous driving in the presence of pedestrians using Deep Recurrent Q-Network

Niranjan Deshpande, Dominique Vaufreydaz외 1명|arXiv (Cornell University)|2020. 10. 26.

Autonomous Vehicle Technology and Safety참고 문헌 25인용 수 22

한 줄 요약

이 논문은 3차원 상태 표현과 보상 함수를 사용하여 시뮬레이션된 도시 환경에서 에이전트를 훈련시켜 보행자가 있는 도시 자율주행에서 고수준 행동 결정을 위한 딥 리current Q-네트워크(Deep Recurrent Q-Network, DRQN)를 제안한다. DRQN은 안전성과 이동 거리 측면에서 룰 기반 접근 방식을 능가하여 충돌 없음 에피소드 비율이 70%로 40%를 기록했지만, 보행자 행동을 조심스럽게 예측함으로써 평균 속도가 낮아지는 단점이 있다.

ABSTRACT

Decision making for autonomous driving in urban environments is challenging due to the complexity of the road structure and the uncertainty in the behavior of diverse road users. Traditional methods consist of manually designed rules as the driving policy, which require expert domain knowledge, are difficult to generalize and might give sub-optimal results as the environment gets complex. Whereas, using reinforcement learning, optimal driving policy could be learned and improved automatically through several interactions with the environment. However, current research in the field of reinforcement learning for autonomous driving is mainly focused on highway setup with little to no emphasis on urban environments. In this work, a deep reinforcement learning based decision-making approach for high-level driving behavior is proposed for urban environments in the presence of pedestrians. For this, the use of Deep Recurrent Q-Network (DRQN) is explored, a method combining state-of-the art Deep Q-Network (DQN) with a long term short term memory (LSTM) layer helping the agent gain a memory of the environment. A 3-D state representation is designed as the input combined with a well defined reward function to train the agent for learning an appropriate behavior policy in a real-world like urban simulator. The proposed method is evaluated for dense urban scenarios and compared with a rule-based approach and results show that the proposed DRQN based driving behavior decision maker outperforms the rule-based approach.

연구 동기 및 목표

• 예측 불가능한 보행자 행동이 있는 복잡한 도시 환경에서 고수준 행동 결정 문제를 해결하기 위해.
• 전문 지식이 필요하고 동적인 도시 환경에서의 적응성이 떨어지는 룰 기반 시스템의 한계를 극복하기 위해.
• 실제 도시 시뮬레이터와의 상호작용을 통해 최적의 주행 정책을 학습할 수 있는 딥 강화학습 에이전트를 개발하기 위해.
• 장기 기억을 의사결정에 통합하기 위해 LSTM을 강화한 DQN(DRQN)을 사용하여 보행자 행동을 더 잘 예측하기 위해.
• 무신호 교차로와 다양한 보행자 행동이 있는 고밀도 도시 시나리오에서 방법을 평가하기 위해.

제안 방법

• 딥 리current Q-네트워크(DRQN)를 사용하여 딥 Q-네트워크(DQN)와 장기 단기 기억(LSTM) 레이어를 조합하여 의사결정에 시간적 기억을 제공한다.
• 차량과 보행자 위치, 속도, 도로 구조를 포함한 환경의 기하학적 및 의미적 정보를 캡슐화하기 위해 다중 채널 3차원 상태 표현을 설계한다.
• 안전한 주행, 목표 향한 진전을 장려하고 충돌 및 과도한 브레이킹에 대해 벌점을 주는 보상 함수를 정의한다.
• 실제 보행자 행동을 반영한 CARLA 기반 도시 시뮬레이터에서 에이전트를 훈련시켰다: 60%는 법적 횡단보도 횡단, 20%는 불법 횡단, 20%는 보도에서 걷기.
• 저수준 액추에이션에 PID 제어기를 사용하고, 에이전트는 이 제어기의 동역학을 정 polit학 학습에 반영하도록 훈련된다.
• 에피소드당 최대 1000단계로 200개의 에피소드 동안 훈련을 수행하며, 충돌 발생 또는 목표 도달 시 조기 종료된다.

실험 결과

연구 질문

• RQ1 DRQN 기반 에이전트는 보행자가 있는 고밀도 도시 환경에서 룰 기반 시스템보다 더 안전하고 효과적인 행동 정책을 학습할 수 있는가?
• RQ2 DQN 아키텍처에 장기 단기 기억(LSTM)을 통합함으로써, 불확실한 보행자 행동이 있는 동적인 도시 시나리오에서 의사결정은 어떻게 향상되는가?
• RQ3 다중 채널 3차원 상태 표현은 에이전트가 복잡한 도시 교통 상황을 인지하고 반응하는 능력을 얼마나 향상시키는가?
• RQ4 충돌 회피 및 주행 효율성 측면에서 에이전트의 성능은 보수적인 룰 기반 기준 대비 어떻게 비교되는가?
• RQ5 에이전트는 다양한 보행자 밀도와 행동 패턴을 가진 실제 도시 교통 패턴으로 일반화할 수 있는가?

주요 결과

• DRQN 기반 에이전트는 70%의 충돌 없음 에피소드를 기록하여 룰 기반 방법의 40%를 크게 능가했다.
• DRQN 에이전트는 충돌 없이 평균 123.1미터를 이동했고, 룰 기반 에이전트는 82.6미터를 이동하여 경로 효율성이 뛰어났다.
• 룰 기반 에이전트는 평균 속도 7.79 km/h를 기록한 반면, DRQN 에이전트는 6.09 km/h로 평균 속도가 낮아, 기억 기반의 조심스러운 예측 행동 덕분이었다.
• 훈련 동적은 초기에 충돌로 인해 보상과 단계 수가 감소한 후, 충돌을 피하는 법을 학습하면서 개선되었다.
• DRQN의 기억 기능 덕분에 보행자 이동을 예측할 수 있었고, 잠재적 충돌 전에 부드럽고 안전한 감속이 가능했다.
• 결과적으로 기억을 보완한 딥 강화학습는 복잡한 도시 의사결정에 효과적이지만, 더 많은 훈련과 고급 알고리즘을 통해 성능을 추가로 향상시킬 수 있다.