[논문 리뷰] Dynamic Graph Configuration with Reinforcement Learning for Connected Autonomous Vehicle Trajectories

Udesh Gunarathna, Hairuo Xie외 3명|arXiv (Cornell University)|2019. 10. 14.

Traffic control and management참고 문헌 29인용 수 4

한 줄 요약

이 논문은 연결형 자율주행차(CAV) 교통 흐름을 최적화하기 위해 실시간으로 교통 차선 방향을 동적으로 재구성하는 계층적 다중 에이전트 강화학습 프레임워크인 CLLA를 제안한다. 두 층으로 구성된 아키텍처를 통해 국지적 차선 배정 결정을 조율함으로써, 혼잡한 네트워크에서 평균 이동 시간을 최대 14% 감소시켜 정적 구성과 이전 방법들보다 확장성과 반응성 면에서 뛰어난 성능을 보인다.

ABSTRACT

Traditional traffic optimization solutions assume that the graph structure of road networks is static, missing opportunities for further traffic flow optimization. We are interested in optimizing traffic flows as a new type of graph-based problem, where the graph structure of a road network can adapt to traffic conditions in real time. In particular, we focus on the dynamic configuration of traffic-lane directions, which can help balance the usage of traffic lanes in opposite directions. The rise of connected autonomous vehicles offers an opportunity to apply this type of dynamic traffic optimization at a large scale. The existing techniques for optimizing lane-directions are however not suitable for dynamic traffic environments due to their high computational complexity and the static nature. In this paper, we propose an efficient traffic optimization solution, called Coordinated Learning-based Lane Allocation (CLLA), which is suitable for dynamic configuration of lane-directions. CLLA consists of a two-layer multi-agent architecture, where the bottom-layer agents use a machine learning technique to find a suitable configuration of lane-directions around individual road intersections. The lane-direction changes proposed by the learning agents are then coordinated at a higher level to reduce the negative impact of the changes on other parts of the road network. Our experimental results show that CLLA can reduce the average travel time significantly in congested road networks. We believe our method is general enough to be applied to other types of networks as well.

연구 동기 및 목표

• 기존 교통 최적화에서 정적 도로 네트워크 그래프의 한계를 해결하기 위해 실시간 교통 변동에 적응하지 못하는 문제를 해결한다.
• 대규모 실시간 동적 차선 방향 재구성을 가능하게 하여 대립 방향 간의 교통 흐름을 균형 잡히게 한다.
• 연결형 자율주행차(CAV) 환경에 적합한 확장 가능하고 효율적인 솔루션을 개발하여 이전 최적화 기법의 높은 계산 비용 문제를 해결한다.
• 교차로 간 국지적 차선 배정 결정을 조율하여 네트워크 전반에 미치는 부정적 영향을 최소화한다.
• 다양한 교통 조건 하에서 동적 차선 방향 변경이 이동 시간을 얼마나 줄이는지 평가한다.

제안 방법

• CLLA는 하부층 에이전트가 강화학습을 사용해 개별 교차로에서 최적의 국지적 차선 방향 변경을 결정하는 두 층으로 구성된 다중 에이전트 아키텍처를 채택한다.
• 상위층 조정자는 지역 에이전트의 결정을 집계하여 네트워크 전반에서 충돌 나쁜 결정을 방지한다.
• 각 에이전트는 차선 방향 변경이 차량 경로와 이동 시간에 미치는 영향을 모델링하기 위해 예측 의존성 그래프(PDG)를 구축한다.
• 전체 이동 시간을 최소화하도록 훈련하기 위해 우선순위 경험 재생을 적용한 딥 Q네트워크(DQN)를 사용한다.
• 주요 파라미터로는 변경 비용, 공격성, PDG 탐색 깊이, 경로 영향 추정을 위한 조회 거리가 있다.
• 실제 택시 이동 데이터를 활용해 동적 차량 생성이 가능한 시뮬레이션된 도시 환경에서 프레임워크를 평가한다.

실험 결과

연구 질문

• RQ1 혼잡한 도시 도로 네트워크에서 동적 차선 방향 재구성이 평균 이동 시간을 크게 감소시킬 수 있는가?
• RQ2 국지적 차선 배정 결정의 조율 방식이 전체 네트워크 성능과 혼잡 완화에 어떤 영향을 미치는가?
• RQ3 효율적이고 안정적인 성능을 위해 최적의 파라미터 설정(예: 업데이트 주기, 공격성, 깊이)은 무엇인가?
• RQ4 확장성과 효율성 측면에서 CLLA의 성능는 정적 차선 구성과 기존 동적 최적화 방법과 비교해 어떻게 되는가?
• RQ5 연결형 자율주행차(CAV) 시스템과 통합되었을 때 동적 차선 변경이 교통 흐름을 얼마나 향상시키는가?

주요 결과

• 교통 수요가 증가할 경우, CLLA는 정적 차선 구성 대비 평균 이동 시간을 14% 감소시켜 뚜렷한 효율성 향상을 보였다.
• CLLA의 최적 업데이트 주기는 10분으로, 반응성과 계산 비용을 균형 잡고 있으며, 15분일 경우에도 성능이 안정적으로 유지된다.
• 예측 의존성 그래프(PDG)의 탐색 깊이가 2일 때 성능이 최고로 높으며, 더 깊이 탐색해도 영향이 감소함에 따라 추가 이득이 없다.
• 조회 거리가 2 이상일 경우 평균 이동 시간이 낮아지지만, 거리가 멀어질수록 영향이 감소함에 따라 이득은 점점 줄어든다.
• 높은 공격성 또는 높은 변경 비용은 빈번한 교란이나 과도한 재구성 오버헤드로 인해 이동 시간을 증가시킨다.
• CLLA는 다양한 교통 조건에서도 안정적인 성능을 유지하며, 기준 동적 방법인 DLA보다 효율성과 강건성 면에서 뛰어나다.