[논문 리뷰] Safe Deep Q-Network for Autonomous Vehicles at Unsignalized Intersection

Kasra Mokhtari, Alan R. Wagner|arXiv (Cornell University)|2021. 06. 08.

Autonomous Vehicle Technology and Safety참고 문헌 22인용 수 4

한 줄 요약

이 논문은 잡음 있는 관측 조건 하에서 보행자와 함께 신호등이 없는 교차로를 주행하는 자율주행차를 위한 안전한 딥 강화학습(DRL) 프레임워크를 제안한다. 두 개의 장기단기기억(LSTM) 네트워크를 사용하여 잡음 있는 관측 조건 하에서 보행자 궤적과 인지된 환경 상태를 추정한다. 향후 충돌 예측 모듈이 위험한 동작을 마스킹하여, 트레이닝 및 미관측 교차로 구조에서도 0% 충돌을 달성하면서도 합리적인 속도와 효율적인 주행을 유지한다. CARLA 시뮬레이션 환경에서 검증되었다.

ABSTRACT

We propose a safe DRL approach for autonomous vehicle (AV) navigation through crowds of pedestrians while making a left turn at an unsignalized intersection. Our method uses two long-short term memory (LSTM) models that are trained to generate the perceived state of the environment and the future trajectories of pedestrians given noisy observations of their movement. A future collision prediction algorithm based on the future trajectories of the ego vehicle and pedestrians is used to mask unsafe actions if the system predicts a collision. The performance of our approach is evaluated in two experiments using the high-fidelity CARLA simulation environment. The first experiment tests the performance of our method at intersections that are similar to the training intersection and the second experiment tests our method at intersections with a different topology. For both experiments, our methods do not result in a collision with a pedestrian while still navigating the intersection at a reasonable speed.

연구 동기 및 목표

• 잡음이 많고 예측 불가능한 보행자 행동이 있는 혼잡한 신호등이 없는 교차로에서 자율주행차가 주행할 수 있는 안전한 강화학습 방법을 개발하는 것.
• 실제 자율주행 환경에서의 잡음이 많고 완전하지 않은 센서 관측 조건에 대응하는 것.
• 합리적인 속도와 작업 완료율을 유지하면서 충돌 없는 주행을 보장하는 것.
• 단일 구성에서 학습한 후 다른 교차로 구조로의 일반화 능력을 평가하는 것.
• 성능이나 실시간 실행 가능성에 영향을 주지 않으면서 딥 강화학습에 안전 제약 조건을 통합하는 것.

제안 방법

• 잡음 있는 관측 조건 하에서 환경의 인지된 상태를 추정하고 보행자 궤적을 예측하기 위해 두 개의 장기단기기억(LSTM) 네트워크를 학습한다.
• 향후 충돌 예측 알고리즘이 예측된 궤적을 기반으로 자동차와 보행자 간의 잠재적 충돌을 평가한다.
• 시스템이 향후 충돌을 예측할 경우 DRL 정책에서 위험한 동작을 마스킹하여 탐색 및 구현 단계에서 안전성을 보장한다.
• 학습 안정성과 샘플 효율성을 향상시키기 위해 이중 딥 Q네트워크(DDQN)와 우선순위 경험 재현(PER)을 사용한 DRL 에이전트를 활용한다.
• 충돌과 과도한 지연을 방지하면서 안전하고 적절한 시기의 주행을 장려하기 위해 조건부 보상 함수를 설계한다.
• 고정밀 CARLA 시뮬레이션 환경에서 실감나는 센서 잡음과 다양한 교차로 기하학적 형태 조건 하에서 프레임워크를 평가한다.

실험 결과

연구 질문

• RQ1 DRL 기반 제어 정책이 보행자 밀도가 높은 신호등이 없는 교차로에서 자율주행차 주행 시 0% 충돌을 달성할 수 있는가?
• RQ2 기존 DRL에 비해 LSTM 기반 인지와 향후 충돌 탐지 통합이 잡음 있는 관측 조건 하에서 안전성을 어떻게 향상시키는가?
• RQ3 한 개의 교차로 구조에서 학습한 정책이 다른, 미관측된 교차로 레이아웃으로 얼마나 잘 일반화되는가?
• RQ4 제안된 안전한 DRL 방법은 충돌률, 속도, 주행 효율성 측면에서 룰 기반 베이스라인과 어떻게 비교되는가?
• RQ5 믿음 업데이트 LSTM이 실시간 의사결정에서 센서 잡음에 대한 강건성을 향상시키는 데 어떤 역할을 하는가?

주요 결과

• 제안된 안전한 DRL 방법은 실험 전반에서 0% 충돌 에피소드를 달성하여 룰 기반 베이스라인 및 표준 DRL 에이전트를 뛰어넘었다.
• SRL 에이전트는 실험 1에서 28.12초, 실험 2에서 28.61초에 주행을 완료했으며, 평균 속도는 각각 3.25m/s와 3.27m/s였다.
• SRL 에이전트는 가장 가까운 보행자와의 평균 거리가 각각 7.19m와 7.21m를 유지하여 더 안전한 상호작용 행동을 보였다.
• 향후 충돌 탐지기와 SRL 에이전트는 충돌 없이 작동했고, 표준 RL 에이전트는 잡음 있는 관측 조건으로 6%의 충돌률을 보였다.
• 믿음 업데이트 LSTM은 인지 노이즈에 대한 강건성을 크게 향상시켰으며, 이 모듈이 없는 순수한 RL 에이전트는 6%의 충돌률을 보였지만 SRL 버전은 0% 충돌을 기록했다.
• 다양한 교차로 구조로의 일반화 능력이 뛰어나, 학습 환경과 미관측 환경 모두에서 일관된 성능을 유지했다.