[논문 리뷰] ModelLight: Model-Based Meta-Reinforcement Learning for Traffic Signal Control

Xingshuai Huang, Di Wu외 2명|arXiv (Cornell University)|2021. 11. 15.

Traffic control and management참고 문헌 40인용 수 11

한 줄 요약

ModelLight는 실세계 환경 상호작용을 최소화하면서도 빠른 정책 학습을 가능하게 하기 위해 합성 전이를 생성하는 신경망 동역학 모델의 앙상블을 사용하는 모델 기반 메타강화학습 프레임워크를 제안한다. 이는 실세계 환경 상호작용이 제한된 조건에서도 상태별 최고 성능을 달성하며, 단지 10회의 학습 라운드만으로도 MetaLight(100회의 라운드 학습)를 능가하는 성능을 보인다.

ABSTRACT

Traffic signal control is of critical importance for the effective use of transportation infrastructures. The rapid increase of vehicle traffic and changes in traffic patterns make traffic signal control more and more challenging. Reinforcement Learning (RL)-based algorithms have demonstrated their potential in dealing with traffic signal control. However, most existing solutions require a large amount of training data, which is unacceptable for many real-world scenarios. This paper proposes a novel model-based meta-reinforcement learning framework (ModelLight) for traffic signal control. Within ModelLight, an ensemble of models for road intersections and the optimization-based meta-learning method are used to improve the data efficiency of an RL-based traffic light control method. Experiments on real-world datasets demonstrate that ModelLight can outperform state-of-the-art traffic light control algorithms while substantially reducing the number of required interactions with the real-world environment.

연구 동기 및 목표

• 실세계 교통 신호 제어에서 모델 프리 강화학습의 높은 샘플 복잡도 문제를 해결하기 위해, 광범위한 실세계 환경 상호작용이 비현실적인 상황을 고려한다.
• 모델 기반 강화학습과 메타학습을 융합하여 새로운 교차로에 빠르게 적응할 수 있도록 데이터 효율성을 향상시키기 위해 노력한다.
• 학습된 동역학 모델을 통해 생성된 합성 경험을 통해 실세계 상호작용 의존도를 감소시켜 대규모 실세계 훈련이 필요 없도록 한다.
• 단일 글로벌 모델 대신 신경망 모델의 앙상블을 사용하여 동역학 모델링의 모델 편향에 대한 강건성을 향상시킨다.
• 제한된 훈련 데이터로도 다양한 교차로 유형에 빠르게 적응할 수 있도록 메타학습 초기화를 통해 정책 적응 속도를 향상시킨다.

제안 방법

• 실세계 교통 상태 전이를 시뮬레이션하기 위해 신경망 기반 동역학 모델의 앙상블을 훈련하여 합성(가상의) 롤아웃을 생성하고, 정책 훈련에 활용한다.
• 다양하고 낮은 오차를 가진 합성 궤적을 생성하기 위해 임의의 시작점을 가진 짧은 롤아웃을 사용하여 누적 모델 오차를 감소시킨다.
• MAML을 통한 메타학습을 적용하여 새로운 교차로에서 최소한의 실세계 상호작용으로도 신속하게 미세조정이 가능한 최적의 정책 초기화를 학습한다.
• 정책 훈련 중 Q함수를 근사하기 위해 FRAP++ 네트워크를 사용하여 샘플 효율성과 안정성을 향상시킨다.
• 모델 기반 롤아웃과 메타강화학습을 통합하여 실세계 환경 상호작용 의존도를 줄이면서도 높은 성능을 유지한다.
• 초기화값 탐색을 위해 롤아웃 길이, 모델 아키텍처(LSTM 대비 완전 연결형), 앙상블 크기 등의 하이퍼파라미터 분석을 수행한다.

실험 결과

연구 질문

• RQ1 모델 기반 메타강화학습 프레임워크가 효과적인 교통 신호 제어를 위해 필요한 실세계 환경 상호작용 수를 크게 줄일 수 있는가?
• RQ2 단일 글로벌 모델 대비 동역학 모델의 앙상블을 사용할 경우 모델 편향 감소와 정책 일반화 향상에 어떤 영향을 미치는가?
• RQ3 짧은 롤아웃과 임의의 시작점이 모델 기반 롤아웃의 합성 경험 품질 향상과 누적 오차 감소에 얼마나 기여하는가?
• RQ4 메타강화학습 초기화가 표준 강화학습 기반 모델 대비 더 적은 학습 라운드로도 더 빠른 수렴과 향상된 성능을 달성할 수 있는가?
• RQ5 제한된 실세계 상호작용으로도 ModelLight는 다양한 교차로 유형과 실세계 교통 시나리오에서 어떻게 성능를 발휘하는가?

주요 결과

• 실세계 상호작용 10라운드만으로도 ModelLight는 100라운드 학습을 거친 MetaLight와 유사하거나 뛰어난 성능을 달성하여 실세계 상호작용 수요를 90% 감소시켰다.
• Task 1에서 ModelLight는 평균 이동 시간을 MetaLight-100r 대비 3.95%에서 5.22%까지 감소시켰으며, Task 2에서는 최대 15.54%의 향상을 기록했다.
• 단일 글로벌 모델 대비 앙상블 모델을 사용할 경우 평균적으로 14.54% 향상된 성능를 기록하여, 모델 편향 감소에 효과적임을 확인했다.
• LSTM 기반 동역학 모델은 성능과 파rameter 효율성 측면에서 가우시안 프로세스 및 완전 연결형 네트워크를 모두 능가하며, 최고의 이동 시간 성과를 달성했다.
• L=36(기본값)와 L=120의 짧은 롤아웃은 유사한 성능를 기록했고, L=360(짧은 롤아웃 없음)는 가장 열악한 성능를 보여, 짧은 롤아웃이 오차 완화에 유리함을 확인했다.
• 아블레이션 연구를 통해 임의의 시작점과 짧은 롤아웃이 합성 경험 생성의 일반화 능력 향상과 누적 오차 감소에 크게 기여함을 확인했다.