[論文レビュー] A Deep Reinforcement Learning Algorithm Using Dynamic Attention Model for Vehicle Routing Problems

Bo Peng, Jiahai Wang+1 more|arXiv (Cornell University)|Feb 9, 2020

Vehicle Routing Optimization Methods参考文献 30被引用数 12

ひとこと要約

本稿では、車両ルーティング問題（VRP）におけるノード特徴量の動的更新を可能にする動的エンコーダ・デコーダアーキテクチャを備えた動的アテンションモデル（AM-D）を提案する。この手法により、隠れた構造的情報をより効果的に活用でき、従来のアテンションベースのモデルおよびベースラインヒューリスティクスを上回る性能を達成し、さまざまなインスタンスサイズにおいて優れた一般化性能を示す。

ABSTRACT

Recent researches show that machine learning has the potential to learn better heuristics than the one designed by human for solving combinatorial optimization problems. The deep neural network is used to characterize the input instance for constructing a feasible solution incrementally. Recently, an attention model is proposed to solve routing problems. In this model, the state of an instance is represented by node features that are fixed over time. However, the fact is, the state of an instance is changed according to the decision that the model made at different construction steps, and the node features should be updated correspondingly. Therefore, this paper presents a dynamic attention model with dynamic encoder-decoder architecture, which enables the model to explore node features dynamically and exploit hidden structure information effectively at different construction steps. This paper focuses on a challenging NP-hard problem, vehicle routing problem. The experiments indicate that our model outperforms the previous methods and also shows a good generalization performance.

研究の動機と目的

• 既存のアテンションモデルにおける固定ノード埋め込みの制限を解消し、解の状態の変化に応じてノード特徴量が適応しない問題に対処すること。
• 各意思決定ステップにおいて、変化する構造的情報を探索・活用できる動的エンコーダ・デコーダアーキテクチャを構築すること。
• 人為的に設計された特徴量や教師信号を一切用いずに、データからエンド・ツー・エンドにヒューリスティックな方策を学習し、解の品質を直接最適化すること。
• 大規模なVRPインスタンスに対して本手法を評価し、異なる問題サイズにおける一般化性能を評価すること。
• 学習済みヒューリスティックと局所探索を組み合わせることで、さらなる解の改善が可能であることを示すこと。

提案手法

• ノード埋め込みが、現在の部分解とグラフ構造に基づいて各ステップで更新される動的エンコーダ・デコーダフレームワークを採用する。
• 各構築段階において文脈依存の構造的性質を捉えるために、グラフアテンション機構を用いてノード特徴量を動的に再埋め込みする。
• 報酬は負の巡回路長に基づくエピソードベースの報酬を用い、REINFORCEアルゴリズムを用いて深層強化学習により方策ネットワークを学習する。
• 候補ノードの間で微分可能なアテンション機構を用いて、次のノードを選択することで、解を段階的に構築する。
• 推論時にはグリーディ戦略を採用し、推論後に2-OPT局所探索を適用して解の品質をさらに向上させる。
• 学習プロセスはオフラインかつ計算コストが高いため、推論は高速（平均0.29 ms/インスタンス）であり、リアルタイムデプロイメントに適している。

実験結果

リサーチクエスチョン

• RQ1 解の構築過程におけるノード特徴量の動的更新は、固定埋め込みと比較してVRPにおけるより優れたヒューリスティック方策を実現できるか？
• RQ2 提案された動的アテンション機構は、ベンチマークVRPインスタンスにおいて解の品質を向上させ、最適性ギャップを低減できるか？
• RQ3 本モデルは、異なるサイズの未観測VRPインスタンス（例：20ノードで学習し、100ノードでテスト）に対してどれほど一般化できるか？
• RQ4 学習済みヒューリスティックは、局所探索と効果的に組み合わせられ、さらなる解の品質向上が可能か？
• RQ5 学習プロセスはより大きな問題インスタンスに対してもスケーラブルか？ また、従来のヒューリスティクスと比較して推論速度はどの程度か？

主な発見

• AM-Dは元の静的アテンションモデル（AM）および他のベースライン手法を顕著に上回り、VRPインスタンスにおける最適性ギャップを低減した。
• 20ノードインスタンスで学習したモデルは、50および100ノードインスタンスに対しても良好に一般化し、一部のより大きなインスタンスで学習したベースラインよりも優れた結果を達成した。
• 100ノードインスタンスで学習したモデルも、20および50ノードインスタンスで良好に動作し、強力なスケール間一般化性能を示した。
• AM-Dに2-OPT局所探索を統合したAM-D (2OPT) は、解の品質をさらに向上させたが、計算時間の増加を伴った。
• 学習済みモデルの推論は極めて高速であり、1インスタンスあたりわずか0.29ミリ秒で、リアルタイム応用に適している。
• 学習フェーズは計算コストが高かった（例：VRP20では14時間）、が、これは一度限りのオフラインプロセスであり、効率的なオンライン推論を可能にした。