[논문 리뷰] HARL: A Novel Hierachical Adversary Reinforcement Learning for Automoumous Intersection Management

Guanzhou Li, Jian Wu외 1명|arXiv (Cornell University)|2022. 05. 05.

Autonomous Vehicle Technology and Safety인용 수 5

한 줄 요약

이 논문은 충돌 방지를 고수준의 궤도 계획과 저수준의 속도 조정으로 분리하는 새로운 계층적 적대적 강화학습 프레임워크 HARL을 제안한다. 두 수준의 에이전트가 관측 범위, 행동 주기, 보상 피드백 주기에서 각각 다름을 고려하여, 저밀도에서 중간 밀도 교통 조건에서 충돌을 0으로 줄이며, LQF 대비 통과 효율성을 33.38–55.04% 향상시키고 단일 에이전트 RL보다 안전성과 처리 능력에서 뛰어난 성능을 발휘한다.

ABSTRACT

As an emerging technology, Connected Autonomous Vehicles (CAVs) are believed to have the ability to move through intersections in a faster and safer manner, through effective Vehicle-to-Everything (V2X) communication and global observation. Autonomous intersection management is a key path to efficient crossing at intersections, which reduces unnecessary slowdowns and stops through adaptive decision process of each CAV, enabling fuller utilization of the intersection space. Distributed reinforcement learning (DRL) offers a flexible, end-to-end model for AIM, adapting for many intersection scenarios. While DRL is prone to collisions as the actions of multiple sides in the complicated interactions are sampled from a generic policy, restricting the application of DRL in realistic scenario. To address this, we propose a hierarchical RL framework where models at different levels vary in receptive scope, action step length, and feedback period of reward. The upper layer model accelerate CAVs to prevent them from being clashed, while the lower layer model adjust the trends from upper layer model to avoid the change of mobile state causing new conflicts. And the real action of CAV at each step is co-determined by the trends from both levels, forming a real-time balance in the adversarial process. The proposed model is proven effective in the experiment undertaken in a complicated intersection with 4 branches and 4 lanes each branch, and show better performance compared with baselines.

연구 동기 및 목표

• 분산 강화학습을 통한 자율 교차로 관리(AIM)에서 일반 정책이 안전하지 않은 차량 간 상호작용을 유도하는 충돌 위험 문제를 해결하기 위해.
• 복잡한 차량 간 상호작용 상황에서 실시간으로 적응 가능한 의사결정을 가능하게 하여 자율 주행 차량(CAV) 간 협업의 안전성과 효율성을 향상시키기 위해.
• 고수준 전략적 계획과 저수준 전술적 제어를 구분하는 계층적 구조를 설계하여 충돌 방지와 통과 효율성의 균형을 이루기 위해.
• 중앙집중식 AIM의 한계(확장성, 시계동기화 등)와 분산형 강화학습의 한계(국소 최적점, 충돌 위험 등)를 극복하기 위해 안정적이고 확장 가능하며 안전한 프레임워크를 제안하기 위해.

제안 방법

• 이 프레임워크는 이중 수준의 계층적 구조를 채택한다: 상위 수준의 에이전트는 충돌을 방지하기 위해 장기적인 궤도 계획에 집중하고, 하위 수준의 에이전트는 원활한 속도 조정을 통해 새로운 갈등을 방지한다.
• 상위 수준의 에이전트는 더 넓은 수신 범위와 더 긴 행동 단위 길이를 가진 소프트 액터-크리틱(SAC) 모델을 사용하여 CAV가 교차로에 최적의 시간에 진입하도록 이끈다.
• 하위 수준의 에이전트는 짧은 시간 수평과 더 세밀한 피드백을 사용한 SAC을 적용하여 차량 속도를 동적으로 조정하고 급격한 변화를 방지하여 새로운 갈등을 유발하지 않도록 한다.
• 두 에이전트는 적대적 협업을 통해 실시간 행동을 공동 결정하며, 상위 수준은 안전성을 우선시하고 하위 수준은 안정성과 원활한 전환을 확보한다.
• 보상 함수는 서로 다른 피드백 주기를 가진다: 상위 수준 보상은 장기적 안전성과 통과 순서를 중시하고, 하위 수준 보상은 즉각적인 갈등 방지와 속도의 원활함을 중시한다.
• 프레임워크는 다양한 교통 조건에서 성능을 검증하기 위해 저밀도, 중밀도, 고밀도 시나리오를 모두 수용하는 시뮬레이션 환경에서 4개 지점, 4차선 교차로에서 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 계층적 강화학습은 중앙집중적 조율에 의존하지 않고 분산 자율 교차로 관리에서 안전성을 어떻게 향상시킬 수 있는가?
• RQ2 다중 차량 교차로 상황에서 고수준 궤도 계획과 저수준 속도 제어 간 최적의 노동 분담은 무엇인가?
• RQ3 이중 수준 에이전트 간의 적대적 협업이 기준 강화학습 및 규칙 기반 방법 대비 충돌률을 낮추면서도 통과 효율성을 유지하거나 향상시킬 수 있는가?
• RQ4 다른 관측 범위, 행동 주기, 보상 피드백 주기가 복잡한 교차로 환경에서 학습 과정의 안정성과 성능에 어떤 영향을 미치는가?
• RQ5 다양한 교통 조건 하에서 제안된 HARL 프레임워크는 단일 에이전트 RL 및 전통적인 스케줄링 정책(LQF, FCFS 등)에 비해 안전성과 효율성 측면에서 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• HARL 프레임워크는 저밀도, 중밀도, 고밀도 교통 조건 전반에서 충돌 수를 0으로 줄였으며, 단일 에이전트 RL은 각각 185, 688, 996건의 충돌을 기록했다.
• 저밀도 조건에서 HARL는 차량당 평균 통과 시간을 6.57초로 기록하여 LQF(13.80초) 대비 55.04% 향상되었고, 고정시간 신호 대비 86.2% 향상되었다.
• 고밀도 조건에서 HARL는 충돌을 0으로 유지하면서도 통과 시간을 8.69초로 확보하여 LQF(19.33초)와 단일 에이전트 RL(8.01초)를 초월한 안전성 확보를 이뤘다.
• 10,000회 반복 동안의 평균 보상 곡선은 안정적이고 효과적인 훈련을 나타내며, 에이전트 간 강한 정적 상관관계를 보였다.
• 모델은 갭 메우기 웨이빙 행동에서 뛰어난 성능을 보였으며, FCFS 및 고정시간 신호 방법 대비 가용한 시간-공간 갭을 효과적으로 활용해 더 효율적인 통과를 가능하게 했다.
• 제거 실험을 통해 HARL 프레임워크는 적대적 협업을 통한 전진과 양보 행동의 균형 조절을 통해 특히 고밀도 상황에서 안전성을 크게 향상시킨다는 점이 확인되었다.