[論文レビュー] A new Hyper-heuristic based on Adaptive Simulated Annealing and Reinforcement Learning for the Capacitated Electric Vehicle Routing Problem

Erick Rodrí­guez-Esparza, Antonio D Masegosa+2 more|arXiv (Cornell University)|Jun 7, 2022

Vehicle Routing Optimization Methods被引用数 11

ひとこと要約

本稿では、容量制約付き電気自動車ルーティング問題（CEVRP）を解くために、自己適応的シミュレーテッドアニーリングと強化学習を組み合わせた新しいハイパーヒューリスティックフレームワークであるHHASA RLを提案する。IEEE WCCI2020ベンチマークにおいて最先端の手法を上回り、複数の新しい最良-known解を発見し、特にマルチアームバンディット選択メカニズムにおけるトンプソンサンプリングを用いることで、高次元インスタンスにおいて優れた平均性能を達成した。

ABSTRACT

Electric vehicles (EVs) have been adopted in urban areas to reduce environmental pollution and global warming as a result of the increasing number of freight vehicles. However, there are still deficiencies in routing the trajectories of last-mile logistics that continue to impact social and economic sustainability. For that reason, in this paper, a hyper-heuristic (HH) approach called Hyper-heuristic Adaptive Simulated Annealing with Reinforcement Learning (HHASA$_{RL}$) is proposed. It is composed of a multi-armed bandit method and the self-adaptive Simulated Annealing (SA) metaheuristic algorithm for solving the problem called Capacitated Electric Vehicle Routing Problem (CEVRP). Due to the limited number of charging stations and the travel range of EVs, the EVs must require battery recharging moments in advance and reduce travel times and costs. The HH implemented improves multiple minimum best-known solutions and obtains the best mean values for some high-dimensional instances for the proposed benchmark for the IEEE WCCI2020 competition.

研究の動機と目的

• 都市部における最終一英里物流の環境的・経済的・社会的課題が、貨物車の使用増加に伴い深刻化する背景を踏まえ、それらに対処すること。
• 限られたバッテリー駆動距離と充電ステーションでのスケジュールされた充電の必要性を考慮した、電気自動車（EV）の効率的ルーティングソリューションの開発。
• 従来のメタヒューリスティクスのパラメータ感度とヒューリスティック選択の限界を克服するため、自己適応的かつ学習ベースのハイパーヒューリスティックフレームワークを導入すること。
• 特に複雑なルーティングおよび充電制約を有する高次元CEVRPインスタンスにおいて、解の品質とロバスト性の向上。
• 組合せ最適化における動的ヒューリスティック選択のため、強化学習と自己適応的シミュレーテッドアニーリングの統合を検討すること。

提案手法

• 本手法は、低レベルのヒューリスティクスがマルチアームバンディット問題を用いて選択されるハイパーヒューリスティックアーキテクチャを採用しており、その解法にトンプソンサンプリング、上界信頼区間（UCB）、ε-greedy戦略を用いる。
• 移動の受容メカニズムは、自己適応的シミュレーテッドアニーリングのメトロポリス基準を用い、解の探索中に探査と活用のバランスを保つ。
• 強化学習を用いて、履歴的パフォーマンスと報酬フィードバックに基づき、各イテレーションで最も効果的な低レベルヒューリスティクスを動的に選択する選択メカニズムとして使用。
• アルゴリズムは、解の品質と探索進行状況に基づき、シミュレーテッドアニーリングにおける温度パラメータを動的に調整する新規な適応メカニズムを統合している。
• 内部の$\text{AdjustStation}$ブロックは、充電ステーションの到着を予測し最適化し、迂回を最小限に抑え、バッテリー制約を遵守することを目的として設計されている。
• 本フレームワークは、E51からX1001までのインスタンス（最大1001ノード、複数の充電ステーションを含む）を含む、IEEE WCCI2020 CEVRPベンチマークで評価されている。

実験結果

リサーチクエスチョン

• RQ1 自己適応的シミュレーテッドアニーリングと強化学習を統合したハイパーヒューリスティックが、高次元インスタンスを有する容量制約付き電気自動車ルーティング問題を効果的に解けるか。
• RQ2 マルチアームバンディット戦略（トンプソンサンプリング、UCB、ε-greedy）の統合が、CEVRPにおけるヒューリスティック選択パフォーマンスに与える影響はいかほどか。
• RQ3 提案されたHHASA RLフレームワークは、解の品質と収束速度の面で、既存の最先端アルゴリズムをどの程度上回るか。
• RQ4 シミュレーテッドアニーリングにおける自己適応的温度メカニズムが、探索と活用のバランスを取る探索プロセスにどのように寄与するか。
• RQ5 本フレームワークは、特に複雑なルーティングおよび充電制約を有する大規模CEVRPインスタンスにおいて、新しい最良-known解を発見できるか。

主な発見

• HHASA RLフレームワークは、IEEE WCCI2020 CEVRPベンチマークにおいて、すべての最先端アルゴリズムを顕著に上回り、特に高次元インスタンスで優れた性能を示した。
• マルチアームバンディット選択にトンプソンサンプリングを用いたHHASA TSバージョンが、すべてのテストインスタンスにおいて最良の平均パフォーマンスを達成した。
• X1001インスタンスでは、合計コスト1965.04を達成し、以前の最良-known解に対して顕著な改善を示した。
• E51、E101、X685、X1001などの高次元インスタンスにおいて、複数の新しい最良-known解が発見され、優れた探査能力を示した。
• 図的分析により、アルゴリズムが充電ステーションへの迂回を効果的に最小限に抑え、E101解では1つの充電ステーションが使用されず、複雑なインスタンスにおいて最適ルーティングが実現されたことが確認された。
• 非パラメトリックな仮説検定により、HHASA TSが他のアルゴリズムに比べて性能優位性が統計的に有意であることが確認された。