[논문 리뷰] Self-Awareness Safety of Deep Reinforcement Learning in Road Traffic Junction Driving

Zehong Cao, Jie Yun|arXiv (Cornell University)|2022. 01. 20.

Autonomous Vehicle Technology and Safety인용 수 5

한 줄 요약

이 논문은 복잡한 도로 교통 교차로에서 자율주행을 위한 강화학습(DRL) 에이전트의 안전성을 향상시키기 위해 주의 기반 자기 인식 모듈을 제안한다. DQN에 자기주의 메커니즘을 통합함으로써 상황 인식 능력을 향상시켜 원형 교차로 시나리오에서 충돌 및 정지 비율을 크게 감소시켰다—정지 비율이 50%에서 3.28%로 96.7% 감소—동시에 높은 성공률 및 보상 성능를 유지하였다.

ABSTRACT

Autonomous driving has been at the forefront of public interest, and a pivotal debate to widespread concerns is safety in the transportation system. Deep reinforcement learning (DRL) has been applied to autonomous driving to provide solutions for obstacle avoidance. However, in a road traffic junction scenario, the vehicle typically receives partial observations from the transportation environment, while DRL needs to rely on long-term rewards to train a reliable model by maximising the cumulative rewards, which may take the risk when exploring new actions and returning either a positive reward or a penalty in the case of collisions. Although safety concerns are usually considered in the design of a reward function, they are not fully considered as the critical metric to directly evaluate the effectiveness of DRL algorithms in autonomous driving. In this study, we evaluated the safety performance of three baseline DRL models (DQN, A2C, and PPO) and proposed a self-awareness module from an attention mechanism for DRL to improve the safety evaluation for an anomalous vehicle in a complex road traffic junction environment, such as intersection and roundabout scenarios, based on four metrics: collision rate, success rate, freezing rate, and total reward. Our two experimental results in the training and testing phases revealed the baseline DRL with poor safety performance, while our proposed self-awareness attention-DQN can significantly improve the safety performance in intersection and roundabout scenarios.

연구 동기 및 목표

• 복잡한 도로 교통 교차로(교차로 및 원형 교차로 포함)에서 기준 DRL 모델(DQN, A2C, PPO)의 안전성 성능을 평가하는 것.
• 기존 DRL 모델에서 드러나는 심각한 안전성 문제, 특히 탐색 중 높은 정지 비율과 충돌 위험을 특정하는 것.
• 실시간 상황 인식 및 안전 평가 향상을 위해 주의 메커니즘을 활용한 자기 인식 모듈을 설계하고 구현하는 것.
• 교차로 및 원형 교차로 환경에서 훈련 및 테스트 단계에서 제안된 주의-DQN 모델의 효과성을 검증하는 것.

제안 방법

• 주의 가중치에 기반해 관련 교통 참가자를 동적으로 집중할 수 있도록 DQN 아키텍처에 자기주의 메커니즘을 통합하였다.
• 기준 DRL 모델과 동일한 환경 및 보상 함수를 사용해 주의-DQN 모델을 훈련시켰으며, 안전 지표를 평가 기준으로 삼았다.
• 충돌 비율, 성공률, 정지 비율, 총 누적 보상의 네 가지 평가 지표를 사용해 안전성 및 성능을 평가하였다.
• 추론 중 주의 맵을 시각화하여 에이전트가 실시간으로 주변 차량과 환경 상태를 어떻게 우선순위화하는지 분석하였다.
• 동적이고 모호한 교통 상황에 대한 인식 능력을 향상시켜 장기적 의사결정을 개선하기 위해 주의 메커니즘을 적용하였다.
• 교차로 및 원형 교차로 두 가지 복잡한 교차로 시나리오에서 기준 DRL 모델과 제안된 주의-DQN 간 비교 실험을 수행하였다.

실험 결과

연구 질문

• RQ1 기준 DRL 모델(DQN, A2C, PPO)은 복잡한 도로 교통 교차로에서 충돌 비율, 정지 비율, 성공률, 총 보상 등의 안전 지표에서 어떻게 성능을 보였는가?
• RQ2 주목적 기반 자기 인식 모듈은 교차로 및 원형 교차로 주행 시나리오에서 충돌 및 정지 비율을 얼마나 감소시킬 수 있는가?
• RQ3 왜 주의 메커니즘이 원형 교차로 시나리오에서는 안전성 성능을 향상시키지만, 교차로 시나리오에서는 그렇지 않은가? 충돌은 줄였지만.
• RQ4 주의 메커니즘은 동적이고 불확실한 교통 조건 하에서 에이전트의 의사결정 신뢰도 및 경로 계획에 어떻게 영향을 미치는가?

주요 결과

• 기준 DRL 모델(DQN, A2C, PPO)은 원형 교차로 시나리오에서 훈련 및 테스트 모두에서 정지 비율이 50%를 초과하는 열악한 안전성 성능를 보였다.
• 제안된 주의-DQN 모델은 원형 교차로 시나리오에서 테스트 시 정지 비율을 3.28%로 감소시켰고, 훈련 시 15%로 유지하여 기준 모델 대비 96.7% 향상된 성과를 기록하였다.
• 교차로 시나리오에서는 주의-DQN이 충돌 비율을 감소시켰지만 정지 비율은 증가시켜 충돌 회피와 경로 연속성 간의 트레이드오프가 존재함을 시사하였다.
• 주의 메커니즘이 에이전트가 주변 차량의 행동을 더 잘 추적하고 예측할 수 있도록 해주었으며, 특히 원형 교차로 입구와 같은 고불확실성 영역에서 유용하였다.
• 주의 맵 분석 결과, 에이전트가 의도가 모호한 좌우 차량을 우선순위로 삼고 있으며, 거리와 궤적에 따라 동적으로 집중 영역을 전환함을 확인하였다.
• 환경가 안전하다고 판단될 경우에만 에이전트가 자기를 재집중함으로써 상황 인식 능력이 향상되었고, 이는 의사결정의 신뢰도를 높였다.