[논문 리뷰] Pedestrian Collision Avoidance for Autonomous Vehicles at Unsignalized Intersection Using Deep Q-Network

Kasra Mokhtari, Alan R. Wagner|arXiv (Cornell University)|2021. 05. 01.

Autonomous Vehicle Technology and Safety참고 문헌 24인용 수 5

한 줄 요약

이 논문은 보행자가 많은 교차로에서 자율주행차가 안전하게 주행할 수 있도록 하는 딥 강화학습(DRL) 기반 접근법을 제안한다. 이 방법은 더블 딥Q네트워크와 우선순위 경험 재생을 결합한 DDQN/PER를 사용하며, 3차원 상태 공간 표현과 조건부 보상 함수를 도입하여 훈련 및 미사용된 교차로 구조 모두에서 100% 충돌 없는 성능을 달성한다. 이는 규칙 기반 기준선 대비 안전성, 속도, 주행 성공률 면에서 뚜렷한 우월성을 보인다.

ABSTRACT

Prior research has extensively explored Autonomous Vehicle (AV) navigation in the presence of other vehicles, however, navigation among pedestrians, who are the most vulnerable element in urban environments, has been less examined. This paper explores AV navigation in crowded, unsignalized intersections. We compare the performance of different deep reinforcement learning methods trained on our reward function and state representation. The performance of these methods and a standard rule-based approach were evaluated in two ways, first at the unsignalized intersection on which the methods were trained, and secondly at an unknown unsignalized intersection with a different topology. For both scenarios, the rule-based method achieves less than 40\% collision-free episodes, whereas our methods result in a performance of approximately 100\%. Of the three methods used, DDQN/PER outperforms the other two methods while it also shows the smallest average intersection crossing time, the greatest average speed, and the greatest distance from the closest pedestrian.

연구 동기 및 목표

• 보행자 밀도가 높은 교차로에서 자율주행차가 안전하고 효율적으로 주행할 수 있도록 의사결정 제어기를 개발하는 것.
• 특히 복잡한 실제 도시 환경에서 자율주행차의 보행자 충돌 회피에 관한 연구 부족을 보완하는 것.
• 기존 및 미사용된 교차로 구조에서 DQN, DDQN, DDQN/PER와 같은 딥 강화학습 방법을 규칙 기반 방법과 비교 평가하는 것.
• 안전성, 효율성, 교통 규칙 준수를 동시에 고려한 보상 함수 및 상태 표현을 설계하는 것.
• 다양한 보행자 수와 운동 특성을 가진 새로운 교차로 레이아웃에서 훈련된 에이전트의 일반화 성능을 평가하는 것.

제안 방법

• 이 방법은 자동차, 보행자, 다른 차량의 상대적 위치를 캡처하는 3차원 공간 격자 기반 상태 표현을 사용하는 딥Q네트워크(DQN) 프레임워크를 적용한다.
• 충돌 회피, 속도 제한 준수, 적절한 교차로 통과를 우선시하는 조건부 보상 함수를 설계하였으며, 보행자에 가까워지거나 안전하지 않은 조작에 대해 벌점을 적용한다.
• DDQN/PER 변종은 오버추정 오차를 줄이기 위해 더블Q학습을 사용하고, 중요도 기반 경험 재생을 통해 영향력 있는 전이에 집중함으로써 샘플 효율성과 수렴 속도를 향상시킨다.
• 고정밀 도시 환경과 현실적인 보행자 행동, 동적 교통 조건을 갖춘 CARLA 시뮬레이터에서 훈련을 수행한다.
• 에이전트는 3차원 격자 표현을 통해 환경를 관찰하고, 가속, 브레이크, 조향 등의 동작을 선택하여 안전하게 교차로를 통과한다.
• 일반화 능력을 평가하기 위해, 한 교차로 구조에서 훈련된 에이전트를 다른, 미사용된 구조로 평가한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 방법이 보행자 밀도가 높은 교차로에서 자율주행차가 100% 충돌 없는 주행을 달성할 수 있는가?
• RQ2 DQN 및 DDQN 대비 DDQN/PER의 안전성, 속도, 주행 성공률 면에서 다양한 교차로 구조에서의 성능은 어떻게 비교되는가?
• RQ3 한 교차로 레이아웃에서 훈련된 DRL 에이전트가 다양한 보행자 수와 구성이 다른 새로운, 미사용된 교차로 레이아웃으로 일반화할 수 있는 정도는 어느 정도인가?
• RQ4 제안된 조건부 보상 함수는 에이전트의 안전성, 효율성, 교통 규칙 준수 균형을 어떻게 영향을 미치는가?
• RQ5 증가하는 보행자 수에 비례해 DRL 기반 제어기가 실시간 성능과 확장성을 유지할 수 있는가?

주요 결과

• DDQN/PER는 훈련 및 미사용 테스트 시나리오 모두에서 100% 충돌 없는 에피소드를 달성하였으며, 규칙 기반 방법은 40% 미만의 충돌 없는 에피소드를 기록하여 뚜렷한 우월성을 보였다.
• DDQN/PER는 평균 교차로 통과 시간이 가장 짧았으며, 실험 1에서는 30.08초, 실험 2에서는 27.86초를 기록하여 주행 효율성이 향상됨을 시사했다.
• DDQN/PER는 평균 속도가 가장 높았으며, 실험 1에서는 3.38 m/s, 실험 2에서는 3.35 m/s를 기록하여 안전성을 해치지 않은 채 동적 성능이 향상됨을 보여주었다.
• DDQN/PER는 가장 큰 평균 보행자와의 거리를 유지하였으며, 실험 1에서는 7.8m, 실험 2에서는 6.9m를 기록하여 더 안전한 상호작용 행동을 보였다.
• DDQN/PER는 새로운 교차로 레이아웃으로의 일반화 성능이 뛰어나 훈련 조건과 거의 동일한 성능을 유지하였으며, 강력한 내재성과 이식 가능성(트랜스퍼러빌리티)을 보였다.
• DRL 기반 에이전트는 보행자가 건너는 것을 기다리고 감속하는 행동을 학습하여 인간과 유사한 안전한 의사결정을 보였으며, 반면 규칙 기반 방법은 과도하게 경계하고 비효율적인 행동을 보였다.