[논문 리뷰] Deep Reinforcement Learning for Dynamic Urban Transportation Problems

Laura Luise Schultz, Vadim Sokolov|arXiv (Cornell University)|2018. 06. 14.

Traffic control and management참고 문헌 37인용 수 10

한 줄 요약

이 논문은 복잡한 시뮬레이터 동역학을 근사함으로써 계산 비용을 절감하는 딥 러닝 메타모델을 사용하는 딥 강화학습(DRL) 프레임워크를 제안한다. 이는 동적 도시 교통 시스템을 최적화하는 데 기여한다. 트래픽 할당 문제에서 DQN 기반 수요 재루팅을 통해 시스템 평균 이동 시간을 51% 향상시켰으며, 실제 시뮬레이션 데이터를 기반으로 한 검증을 통해 접근법의 타당성을 입증한다.

ABSTRACT

We explore the use of deep learning and deep reinforcement learning for optimization problems in transportation. Many transportation system analysis tasks are formulated as an optimization problem - such as optimal control problems in intelligent transportation systems and long term urban planning. Often transportation models used to represent dynamics of a transportation system involve large data sets with complex input-output interactions and are difficult to use in the context of optimization. Use of deep learning metamodels can produce a lower dimensional representation of those relations and allow to implement optimization and reinforcement learning algorithms in an efficient manner. In particular, we develop deep learning models for calibrating transportation simulators and for reinforcement learning to solve the problem of optimal scheduling of travelers on the network.

연구 동기 및 목표

• 대규모 도시 교통 시스템에서 시뮬레이션 기반 최적화의 높은 계산 비용을 해결하기 위해.
• 교통 시뮬레이터의 고차원 입력-출력 관계에서 저차원 패턴을 포착하는 딥 러닝 기반 메타모델을 개발하기 위해.
• 신경망 함수 근사기를 사용한 딥 강화학습을 적용하여 동적 교통 제어 및 스케줄링 문제를 해결하기 위해.
• 베이지안 또는 필터링 기법에 비해 시뮬레이터 校정에서 샘플 효율성을 향상시키기 위해.
• DRL이 동적 수요 할당 및 전반적인 시스템 이동 시간 최적화에 효과적으로 기여하는지 검증하기 위해.

제안 방법

• 복잡하고 확률적인 교통 시뮬레이터의 입력-출력 매핑을 근사하기 위해 딥 신경망을 훈련시켜 효율적인 최적화를 가능하게 한다.
• 기존의 액티브 서브스페이스 방법을 대체하기 위해 조합적 신경망 아키텍처를 사용하여 차원 축소를 수행한다.
• 시간대 간 수요 재루팅 정책을 학습하기 위해 딥 Q-네트워크(DQN)를 사용하며, 상태는 현재 및 보류 중인 수요로 정의된다.
• 액션 공간은 시간대 간 0~2단위 수요를 이동시키거나, 대체 목적지로 수요를 재루팅할 수 있도록 한다.
• 보상 함수는 시뮬레이터 내 반복적인 프랭크-울프 평형 해법기를 통해 계산된 총 시스템 이동 시간의 음수이다.
• DQN은 24시간 수요 시퀀스로 구성된 100개의 에피소드 동안 훈련되며, 성능은 훈련 중에 볼 수 없었던 수요 패턴을 기반으로 평가된다.

실험 결과

연구 질문

• RQ1 딥 러닝 메타모델은 복잡한 교통 시뮬레이터의 입력-출력 관계에서 차원을 효과적으로 압축할 수 있는가?
• RQ2 시뮬레이터 校정에서 샘플 효율성 측면에서 딥 러닝 기반 메타모델은 베이지안 또는 필터링 기법에 비해 어떻게 비교되는가?
• RQ3 함수 근사기를 사용한 딥 강화학습은 전통적 방법에 비해 동적 수요 할당 문제를 더 효과적으로 해결할 수 있는가?
• RQ4 DQN 기반 수요 재루팅은 시뮬레이션된 도시 네트워크에서 전체 시스템 이동 시간에 어떤 영향을 미치는가?
• RQ5 24시간 스케줄링 수평에서 DQN 정책은 훈련 중에 볼 수 없었던 수요 패턴에 얼마나 잘 일반화되는가?

주요 결과

• 딥 러닝 메타모델은 베이지안 및 필터링 기법에 비해 교통 시뮬레이터 校정에서 뛰어난 샘플 효율성을 달성했다.
• DQN 기반 정책은 원래 수요 분포에 비해 총 시스템 이동 시간을 51% 감소시켰다.
• 최적의 정책은 피크 시간대, 특히 14~24시간 동안 주요 간선(1→2)에서 1~2단위 수요를 대체 간선(1→3)으로 지속적으로 재루팅했다.
• DQN 정책은 훈련 중에 볼 수 없었던 무작위로 생성된 수요 패턴을 효과적으로 처리하는 강력한 일반화 능력을 보였다.
• 차원 축소를 위해 조합적 신경망을 사용함으로써 입력 파rameter 공간의 탐색이 더욱 효율적으로 이루어졌다.
• 실험 결과, 이론적으로는 느릴 수 있는 수렴 경계가 실제 DRL 응용에서 관찰되는 빠른 수렴 속도를 반영하지 못하는 것으로 나타났다.