[논문 리뷰] Transfer Learning versus Multi-agent Learning regarding Distributed Decision-Making in Highway Traffic

Mark Schutera, Niklas Goby외 2명|arXiv (Cornell University)|2018. 10. 19.

Reinforcement Learning in Robotics참고 문헌 7인용 수 5

한 줄 요약

이 논문은 MIT DeepTraffic 시뮬레이션을 사용하여 고속도로 교통에서 분산된 의사결정을 위한 전이학습과 다중에이전트 강화학습을 비교한다. 유전적 초기화 하이퍼파ram터 검색 내에서 딥Q네트워크를 통해 에이전트를 훈련시킨 후, 단일에이전트 전이학습과 공동 다중에이전트 훈련을 평가한다. 주요 발견은 다중에이전트 학습이 복잡한 혼합지능 교통에서 전이학습을 능가한다는 점이며, 특히 에이전트 밀도가 높을수록 상호작용에 더 잘 적응하고 심각한 정체 사건을 줄일 수 있기 때문이다.

ABSTRACT

Transportation and traffic are currently undergoing a rapid increase in terms of both scale and complexity. At the same time, an increasing share of traffic participants are being transformed into agents driven or supported by artificial intelligence resulting in mixed-intelligence traffic. This work explores the implications of distributed decision-making in mixed-intelligence traffic. The investigations are carried out on the basis of an online-simulated highway scenario, namely the MIT \emph{DeepTraffic} simulation. In the first step traffic agents are trained by means of a deep reinforcement learning approach, being deployed inside an elitist evolutionary algorithm for hyperparameter search. The resulting architectures and training parameters are then utilized in order to either train a single autonomous traffic agent and transfer the learned weights onto a multi-agent scenario or else to conduct multi-agent learning directly. Both learning strategies are evaluated on different ratios of mixed-intelligence traffic. The strategies are assessed according to the average speed of all agents driven by artificial intelligence. Traffic patterns that provoke a reduction in traffic flow are analyzed with respect to the different strategies.

연구 동기 및 목표

• 혼합지능 고속도로 교통을 위한 분산 의사결정에서 전이학습과 다중에이전트 강화학습의 성능을 평가하는 것.
• 다양한 학습 전략이 시뮬레이션된 고속도로 환경에서 평균 속도와 교통 흐름 패턴에 미치는 영향을 조사하는 것.
• 지능형 에이전트 수 증가가 정체와 흐름 효율성에 미치는 영향을 평가하는 것.
• 전이학습이 단일에이전트 훈련에서 유도된 결과를 다중에이전트 시나리오로 효과적으로 일반화할 수 있는지 여부를 판단하는 것.

제안 방법

• MIT DeepTraffic 시뮬레이션에서 딥강화학습 프레임워크 내에서 딥Q네트워크(DQN)를 사용해 교통 에이전트를 훈련시켰다.
• 에이전트 훈련을 위한 하이퍼파ram터(예: 학습률, 네트워크 깊이, 경험 재생 크기) 최적화를 위해 엘리트 기반 유전 알고리즘을 사용했다.
• 단일에이전트 모델에서 사전 훈련된 가중치를 사용해 다수의 에이전트를 초기화함으로써 전이학습을 적용했다.
• 동일한 환경에서 공통 학습 목표를 가진 채로 다중에이전트를 동시에 훈련시켜 직접적인 다중에이전트 훈련을 수행했다.
• 다양한 비율의 지능형 에이전트와 인간 운전 차량 간의 조합에서 두 전략을 평가하여 평균 속도와 정체 패턴을 측정했다.
• 다중 시뮬레이션 런 동안 훈련, 검증, 평가를 자동화하기 위해 파이썬 기반 Selenium 로봇을 사용했다.

실험 결과

연구 질문

• RQ1 혼합지능 고속도로 교통에서 평균 속도와 교통 흐름 측면에서 전이학습은 다중에이전트 학습보다 어떻게 다를까?
• RQ2 단일에이전트에서 훈련된 결과를 기반으로 한 전이학습은 다중에이전트 시나리오로 효과적으로 일반화되는가, 아니면 열악한 상호작용 역학을 초래하는가?
• RQ3 정체 패턴—특히 심각한 정체와 저속 감속—은 전이학습 전략과 다중에이전트 학습 전략 간에 어떻게 다를까?
• RQ4 각 학습 전략 하에서 지능형 에이전트 수와 정체 사건 빈도 간의 관계는 어떠한가?
• RQ5 에이전트 밀도가 증가함에 따라 다중에이전트 학습이 전이학습보다 성능 우위를 보일 수 있는가?

주요 결과

• 지능형 에이전트 수가 증가함에 따라 다중에이전트 학습이 평균 속도와 교통 흐름 측면에서 전이학습을 능가했다.
• 정체 사고 수는 더 많은 훈련된 에이전트와 함께 증가했지만, 가장 심각한 정체(그림 6의 어두운 회색 선)는 약 50건으로 안정되어 있어 최악의 성능이 일관되게 유지됨을 시사한다.
• 두 전략 모두 정체 사고의 상당 부분이 저속 감속(1~11mph)을 포함하고 있어, 에이전트가 경미한 교란 상황에서 신속히 복구할 수 있음을 나타낸다.
• 전이학습 전략은 다중에이전트 학습과 유사한 평균 성능를 보였지만, 공동 훈련을 통해 기대되는 상호작용 적응 능력이 부족했다.
• 교통 패턴 분석 결과, 정체의 정도와 복구 시간이 정체 사고의 수보다 흐름 품질에 더 큰 영향을 미친다는 점이 드러났다.
• 결과적으로, 고속도로에 지능형 에이전트 비율이 증가할수록 다중에이전트 학습이 점점 더 필수적이 될 것임을 시사한다.