[논문 리뷰] Coordinating CAV Swarms at Intersections with a Deep Learning Model

Jiawei Zhang, Shen Li외 1명|arXiv (Cornell University)|2022. 11. 10.

Robotic Path Planning Algorithms인용 수 4

한 줄 요약

이 논문은 신호등이 없는 교차로에서 연결된 자율 주행 차량(CAV) 군집의 근사 최적의 통과 순서를 신속하게 생성하는 딥러닝과 트리 탐색의 하이브리드 알고리즘인 AlphaOrder를 제안한다. 해결된 시나리오 데이터셋으로 훈련된 포인터 네트워크를 사용하여 초기 예측을 생성하고, 온라인 트리 탐색을 통해 결과를 정밀 조정함으로써, 기존 방법보다 훨씬 낮은 지연 시간을 기록하면서 실시간 성능을 달성한다. 이는 대규모 CAV 흐름에서도 성립한다.

ABSTRACT

Connected and automated vehicles (CAVs) are viewed as a special kind of robots that have the potential to significantly improve the safety and efficiency of traffic. In contrast to many swarm robotics studies that are demonstrated in labs by employing a small number of robots, CAV studies aims to achieve cooperative driving of unceasing robot swarm flows. However, how to get the optimal passing order of such robot swarm flows even for a signal-free intersection is an NP-hard problem (specifically, enumerating based algorithm takes days to find the optimal solution to a 20-CAV scenario). Here, we introduce a novel cooperative driving algorithm (AlphaOrder) that combines offline deep learning and online tree searching to find a near-optimal passing order in real-time. AlphaOrder builds a pointer network model from solved scenarios and generates near-optimal passing orders instantaneously for new scenarios. Furthermore, our approach provides a general approach to managing preemptive resource sharing between swarm robotics (e.g., scheduling multiple automated guided vehicles (AGVs) and unmanned aerial vehicles (UAVs) at conflicting areas

연구 동기 및 목표

• 신호등이 없는 교차로에서 끊임없이 유입되는 CAV 군집의 최적 통과 순서를 결정하는 NP-난이도 문제를 해결하기 위해.
• 기존 방법의 한계—높은 계산 비용, 낮은 확장성, 히ュ리스틱 규칙에 의존성—을 극복하기 위해 딥러닝과 온라인 탐색을 융합하기 위해.
• 동적 교통 환경에서 대규모 CAV 군집의 실시간, 저복잡도 조율을 가능하게 하기 위해.
• 다양한 교통 수요 패턴과 교차로 구성에 일반화하여 이질적인 조건에서도 견고한 성능을 보장하기 위해.
• 스warm 로봇공학 및 지능형 교통 시스템에서 사전 자원 공유를 위한 확장 가능하고 이식 가능한 프레임워크를 제공하기 위해.

제안 방법

• AlphaOrder는 해결된 시나리오 데이터셋으로 훈련된 포인터 네트워크 $p_{\theta}$를 사용하여 차량 상태 입력에서 직접 후보 통과 순서를 예측한다.
• 고보상 순서를 탐색함으로써 초기 예측을 향상시키기 위해 몬테카를로 트리 탐색(MCTS) 모듈을 통합한다.
• REINFORCE 강화학습 프레임워크에서 기준점 역할을 하는 평가 네트워크 $b_{\delta}$가 포인터 네트워크의 훈련을 안정화시킨다.
• 이중 단계 파이프라인을 사용한다: 사전 학습 단계에서 합성 시나리오 데이터셋으로 포인터 네트워크를 오프라인 훈련하고, 새로운 미사용 구성에 대해서는 온라인 트리 탐색을 수행한다.
• 모델 업데이트를 클라우드에서 원격으로 수행함으로써 현장 장치의 복잡도를 최소화할 수 있도록 도로변 단말기에서의 구현을 고려하여 설계되었다.
• 모델은 임의의 CAV 수와 다양한 교통 수요 패턴, 이질적 흐름까지 일반화 가능하다.

실험 결과

연구 질문

• RQ1 해결된 시나리오 데이터셋으로 훈련된 딥러닝 모델이 신호등이 없는 교차로에서 새로운, 미사용된 CAV 군집 구성에 대해 근사 최적의 통과 순서를 생성할 수 있는가?
• RQ2 딥러닝과 온라인 트리 탐색을 융합함으로써, 기존 최적화 또는 히ュ리스틱 방법에 비해 계산 효율성과 해법 품질은 어떻게 향상되는가?
• RQ3 모델이 이질적이고 고밀도 흐름을 포함한 다양한 교통 수요 패턴에 대해 얼마나 잘 일반화되는가?
• RQ4 FIFO 및 MCTS 전용 기준 대비 AlphaOrder가 총 지연 시간을 얼마나 줄이는 데 기여하는가?
• RQ5 자원 제약이 있는 도로변 단말기에서 알고리즘이 효율적으로 구현되어 실시간 반응성을 유지할 수 있는가?

주요 결과

• 고밀도 시나리오에서 AlphaOrder는 FIFO 기준 대비 평균 지연 시간을 최대 40% 감소시키며, 패턴 1에서는 MCTS 기반 방법 대비 25% 향상된 성능을 기록한다.
• 이질적 교통 수요 시나리오(예: 흐름 비율 2.5배)에서 AlphaOrder는 우수한 성능 유지를 보이며, 패턴 2에서 평균 지연 시간 14.23초를 기록하여 FIFO의 22.27초 대비 유의미한 개선을 보였다.
• 최대 40대의 CAV가 포함된 시나리오에서 AlphaOrder는 밀리초 내로 근사 최적 해를 도출하는 반면, 수열 기반 방법은 최적 순서를 계산하는 데 며칠이 소요된다.
• 평가 네트워크와 MCTS 정밀 조정 단계는 해법 품질을 크게 향상시키며, 최종 출력은 항상 초기 포인터 네트워크 예측 및 기준 알고리즘보다 뛰어난 성능을 보인다.
• AlphaOrder는 다양한 교통 패턴에 대해 강력한 일반화 능력을 보이며, 패턴 1에서는 평균 지연 시간 12.81초, 패턴 2에서는 14.23초를 기록하여 유량 불균형에 대한 견고함을 입증했다.
• 모델의 저온장치 복잡도 덕분에 도로변 단말기에서 실용적인 구현이 가능하며, 훈련 및 업데이트 작업은 모두 클라우드에서 원격으로 처리된다.