[論文レビュー] Where the Action is: Let's make Reinforcement Learning for Stochastic Dynamic Vehicle Routing Problems work!

Florentin D Hildebrandt, Barrett W. Thomas+1 more|arXiv (Cornell University)|Feb 28, 2021

Vehicle Routing Optimization Methods被引用数 8

ひとこと要約

本稿は、強化学習（RL）と整数プログラミング（MIP）を組み合わせたハイブリッド手法を提案し、未来の不確実性を考慮したリアルタイム意思決定を必要とする確率的動的車両ルーティング問題（SDVRP）を解く。OR分野の行動空間探索の強みとCS分野の将来評価の強みの間には、顕著なギャップが存在し、MIPによるルート構築とRLによる長期的方策学習を統合する手法の必要性を主張する。

ABSTRACT

There has been a paradigm-shift in urban logistic services in the last years; demand for real-time, instant mobility and delivery services grows. This poses new challenges to logistic service providers as the underlying stochastic dynamic vehicle routing problems (SDVRPs) require anticipatory real-time routing actions. Searching the combinatorial action space for efficient routing actions is by itself a complex task of mixed-integer programming (MIP) well-known by the operations research community. This complexity is now multiplied by the challenge of evaluating such actions with respect to their effectiveness given future dynamism and uncertainty, a potentially ideal case for reinforcement learning (RL) well-known by the computer science community. For solving SDVRPs, joint work of both communities is needed, but as we show, essentially non-existing. Both communities focus on their individual strengths leaving potential for improvement. Our survey paper highlights this potential in research originating from both communities. We point out current obstacles in SDVRPs and guide towards joint approaches to overcome them.

研究の動機と目的

• 即時配送およびモビリティサービスの需要増加に伴い、都市物流におけるリアルタイムで予測可能なルーティングのニーズが高まっていることに対応する。
• 確率的動的車両ルーティング問題（SDVRP）を解くにあたり、運用研究（OR）とコンピュータサイエンス（CS）のコミュニティの間で生じる乖離を特定する。
• OR手法は大規模な行動空間探索に優れているが、将来の不確実性の評価を軽視するのに対し、CS分野のRL手法は評価に注力するが、しばしば行動空間を単純化していることを強調する。
• MIPとRLの手法の統合により、SDVRPにおける行動空間探索と将来の不確実性評価の両方を同時に解決する。
• 将来の研究を、MIPの定式化を組み込んだハイブリッドでマルチエージェント的、あるいは方策ベースのRLフレームワークへと導く。これにより、スケーラブルで頑健かつリアルタイムのルーティング意思決定が可能になる。

提案手法

• SDVRPをマークフ・意思決定過程（MDP）としてモデル化し、不確実性下での逐次的意思決定問題として定式化する。
• 高次元の状態情報に基づく行動の評価を可能とするために、深層ニューラルネットワーク（DNN）を価値関数や方策の関数近似に用いる。
• 区分線形価値関数近似（VFA）と正確なMIPソルバーを組み合わせたハイブリッドアーキテクチャを提案し、複雑な行動空間の探索と長期的妥当性の両方を実現する。
• 大規模なフリートにスケーリングするため、マルチエージェント強化学習（MARL）フレームワークを用い、中央集権的なMIP制御により分散型エージェントの意思決定を調整する。
• ルートに一時的な停止点を追加する際の長期的妥当性を評価するためのニューラルネットワークヘッドを設計する。これにより、将来の制約違反を回避する。
• マルチエージェントRLにおける転移学習を活用し、小規模なインスタンスで学習した方策を、より大きな、分布外のシナリオへ一般化する。

実験結果

リサーチクエスチョン

• RQ1 既存のORおよびCS的手法が、なぜSDVRPにおいて行動空間探索と将来の不確実性評価を同時に扱えないのか。
• RQ2 時間窓、容量、先行順序制約といった複雑なルート制約を伴う複雑なSDVRPに、強化学習をどのように効果的に適用できるか。
• RQ3 現在のCS分野のRL手法が、複雑な行動空間を有する大規模で現実世界のSDVRPに適用された際の限界は何か。
• RQ4 MIP定式化をどのようにRLと統合することで、動的ルーティングにおける行動選択と長期的方策評価の両方を改善できるか。
• RQ5 中央集権的なMIP制御を備えたマルチエージェントRLは、大規模なフリート運用においてスケーラブルで頑健かつリアルタイムの意思決定を可能にするか。

主な発見

• OR分野のSDVRP研究において、複雑なルート制約を伴う問題について、詳細な行動空間を考慮した研究は存在しない。これはOR分野のMIPベースの行動空間探索の強みにもかかわらずである。
• CS分野のSDVRP研究において、複雑なルート制約を伴う問題には対応していない。多くの手法が単純な行動空間に焦点を当てており、探索よりも評価を重視している。
• 適切に設計された報酬形状のマルチエージェントRLは、訓練時とテスト時のダイナミクスが著しく異なる場合でも、良好な分布外一般化を達成できる。
• 一時的なルートを段階的に構築する方策ベースの手法は有望であるが、マルチビークルや動的ルーティングの文脈では未だ十分に調査されていない。
• MIPソルバーとDNNベースの価値関数を統合したハイブリッド手法により、行動空間探索と将来の不確実性評価のバランスを取ることで、リアルタイム意思決定が可能になる。
• マルチエージェントRLフレームワークにおける中央集権的MIP制御は、分解された行動空間から失われた情報を回復させ、独立したエージェント間の協調性を向上させることができる。