[논문 리뷰] Where the Action is: Let's make Reinforcement Learning for Stochastic Dynamic Vehicle Routing Problems work!

Florentin D Hildebrandt, Barrett W. Thomas외 1명|arXiv (Cornell University)|2021. 02. 28.

Vehicle Routing Optimization Methods인용 수 8

한 줄 요약

이 논문은 확률적 동적 차량 경로 문제(SDVRPs)를 해결하기 위해 강화학습(RL)과 혼합정수계획법(MIP)을 융합한 하이브리드 접근법을 제안한다. 여기서 실시간 의사결정은 즉각적인 경로 조치와 미래의 불확실성 간의 균형을 요구한다. 연구는 운영연구(OR)가 행동 공간 탐색에서 강점을 지닌 반면 컴퓨터과학(CS)은 미래 평가에서 강점을 지닌다는 핵심 격차를 지적하며, MIP를 이용한 경로 구성과 RL을 통한 장기 정책 학습을 융합한 통합적 접근의 필요성을 주장한다.

ABSTRACT

There has been a paradigm-shift in urban logistic services in the last years; demand for real-time, instant mobility and delivery services grows. This poses new challenges to logistic service providers as the underlying stochastic dynamic vehicle routing problems (SDVRPs) require anticipatory real-time routing actions. Searching the combinatorial action space for efficient routing actions is by itself a complex task of mixed-integer programming (MIP) well-known by the operations research community. This complexity is now multiplied by the challenge of evaluating such actions with respect to their effectiveness given future dynamism and uncertainty, a potentially ideal case for reinforcement learning (RL) well-known by the computer science community. For solving SDVRPs, joint work of both communities is needed, but as we show, essentially non-existing. Both communities focus on their individual strengths leaving potential for improvement. Our survey paper highlights this potential in research originating from both communities. We point out current obstacles in SDVRPs and guide towards joint approaches to overcome them.

연구 동기 및 목표

• 즉각적인 배송 및 이동 서비스 수요 증가에 따라 도시 물류 분야에서 실시간 예측적 경로 설정의 필요성이 증가하고 있음.
• 확률적 동적 차량 경로 문제(SDVRPs)를 해결하는 데 있어 운영연구(OR)와 컴퓨터과학(CS) 분야 간의 괴리를 규명함.
• OR 방법론은 큰 행동 공간 탐색에 뛰어나지만 미래 불확실성 평가를 간과하는 반면, CS의 RL 방법론은 평가에 집중하지만 일반적으로 행동 공간을 단순화함을 강조함.
• 행동 공간 탐색과 미래 불확실성 평가를 동시에 해결하기 위해 MIP와 RL의 융합을 제안함.
• 향후 연구를 하이브리드, 다중 에이전트 또는 정책 기반 강화학습 프레임워크로 이어지게 하되, MIP 수식을 통한 확장으로 스케일업 가능하고 견고하며 실시간 경로 결정을 가능하게 함.

제안 방법

• SDVRPs를 마르코프 결정 과정(MDPs)으로 모델링하여 불확실성 하에서의 순차적 의사결정 문제로 재구성함.
• 고차원 상태 정보 기반으로 행동 평가를 가능하게 하기 위해 가치 함수나 정책의 함수 근사기로 딥 네ural 웹(DNNs)을 통합함.
• 조각별 선형 가치 함수 근사기(VFAs)와 정확한 MIP 해법기를 융합한 하이브리드 아키텍처를 제안하여 복잡한 행동 공간 탐색과 장기 가능성 평가를 동시에 수행함.
• 더 큰 플릿에 대응하기 위해 다중 에이전트 강화학습(MARL) 프레임워크를 활용하고, 중심화된 MIP 제어를 통해 분산된 에이전트의 의사결정을 조율함.
• 경로에 일시적인 정류장을 추가할 경우의 장기 가능성 평가를 위해 신경망 헤드를 설계하여 향후 제약 위반을 방지함.
• 작은 인스턴스에서 학습된 정책을 더 큰, 분포 외부의 시나리오로 일반화하기 위해 MARL에서 전이 학습을 활용함.

실험 결과

연구 질문

• RQ1 기존의 OR 및 CS 접근법이 SDVRPs에서 행동 공간 탐색과 미래 불확실성 평가를 동시에 해결하지 못하는 이유는 무엇인가?
• RQ2 시간 창, 용량, 우선순위 제약 등 복잡한 경로 제약 조건이 존재하는 복잡한 SDVRPs에 대해 강화학습이 어떻게 효과적으로 적용될 수 있는가?
• RQ3 현재의 CS 기반 RL 방법론이 대규모 실세계 SDVRPs에 적용되었을 때 행동 공간이 복잡한 상황에서 가지는 한계는 무엇인가?
• RQ4 MIP 수식을 어떻게 RL과 융합하여 동적 경로 문제에서 행동 선택과 장기 정책 평가의 향상을 달성할 수 있는가?
• RQ5 중앙화된 MIP 조율 기능을 갖춘 다중 에이전트 RL은 대규모 플릿 운영에서 확장 가능하고 견고하며 실시간 의사결정을 가능하게 하는가?

주요 결과

• 복잡한 경로 제약 조건이 존재하는 문제에 대해 기존의 OR 연구는 MIP 기반 행동 공간 탐색의 강점을 지녀도, 행동 공간의 세부 사항을 고려하지 못함.
• 대부분의 CS 연구는 단순한 행동 공간에 집중하고 평가에 초점을 두며, 복잡한 경로 제약 조건을 다루지 않아, 복잡한 제약 조건이 존재하는 문제에 대해 다루지 못함.
• 잘 설계된 보상 형성 보너스를 갖춘 다중 에이전트 RL은 훈련 동역학과 테스트 동역학이 크게 다를 경우에도 충분히 일반화 가능함.
• 일시적인 경로를 반복적으로 구성하는 정책 기반 방법론은 유망하지만, 다중 차량 또는 동적 경로 설정 시나리오에서는 아직 탐색되지 못한 상태임.
• MIP 솔버와 DNN 기반 가치 함수를 융합한 하이브리드 접근법은 행동 공간 탐색과 미래 불확실성 평가의 균형을 맞춰 실시간 의사결정을 가능하게 함.
• 다중 에이전트 RL 프레임워크에서 중심화된 MIP 제어는 분해된 행동 공간에서 손실된 정보를 복구하고 독립된 에이전트 간의 협력을 향상시킴.