[論文レビュー] Solving Dynamic Graph Problems with Multi-Attention Deep Reinforcement Learning

Udesh Gunarathna, Renata Borovica‐Gajic+2 more|arXiv (Cornell University)|Jan 13, 2022

Vehicle Routing Optimization Methods被引用数 7

ひとこと要約

本稿では、時間的グラフ特徴を符号化し、動的グラフ組合せ最適化問題（TSP や VRP など）を解くためにそれらに動的に注目を向けることができる、マルチアテンション型の深層強化学習アーキテクチャであるGTA-RLを提案する。この手法は、最先端の学習ベース手法を上回り、最適解法と同等の効率性を示す。

ABSTRACT

Graph problems such as traveling salesman problem, or finding minimal Steiner trees are widely studied and used in data engineering and computer science. Typically, in real-world applications, the features of the graph tend to change over time, thus, finding a solution to the problem becomes challenging. The dynamic version of many graph problems are the key for a plethora of real-world problems in transportation, telecommunication, and social networks. In recent years, using deep learning techniques to find heuristic solutions for NP-hard graph combinatorial problems has gained much interest as these learned heuristics can find near-optimal solutions efficiently. However, most of the existing methods for learning heuristics focus on static graph problems. The dynamic nature makes NP-hard graph problems much more challenging to learn, and the existing methods fail to find reasonable solutions. In this paper, we propose a novel architecture named Graph Temporal Attention with Reinforcement Learning (GTA-RL) to learn heuristic solutions for graph-based dynamic combinatorial optimization problems. The GTA-RL architecture consists of an encoder capable of embedding temporal features of a combinatorial problem instance and a decoder capable of dynamically focusing on the embedded features to find a solution to a given combinatorial problem instance. We then extend our architecture to learn heuristics for the real-time version of combinatorial optimization problems where all input features of a problem are not known a prior, but rather learned in real-time. Our experimental results against several state-of-the-art learning-based algorithms and optimal solvers demonstrate that our approach outperforms the state-of-the-art learning-based approaches in terms of effectiveness and optimal solvers in terms of efficiency on dynamic and real-time graph combinatorial optimization.

研究の動機と目的

• エッジ重みなどのグラフ属性が時間とともに変化する動的グラフ組合せ最適化問題を解く課題に対処すること。
• 従来の深層強化学習手法が静的グラフ問題にのみ焦点を当てており、動的環境では失敗することの限界を克服すること。
• 手作業で設計されたルールやドメイン特化のエンジニアリングに依存しない、一般化可能でスケーラブルなヒューリスティック学習フレームワークを開発すること。
• 入力特徴が事前にすべて入手可能でない、段階的に明らかになるリアルタイムなシナリオにモデルを拡張すること。
• 訓練時に使用されたグラフインスタンスよりも大きなグラフインスタンスへの一般化能力を実証すること。

提案手法

• 時間ステップにわたる動的グラフ特徴を埋め込むために、マルチヘッド自己注意機構を用いた時系列エンコーダ・デコーダアーキテクチャを設計する。
• 組合せ最適化における逐次的意思決定を学習するために、ポリシー勾配強化学習フレームワークを採用する。
• アテンションスコアに基づいて行動を選択するグリーディ推論変種（GTA-RL-greedy）を導入し、解の品質を向上させる。
• 過去の状態をバッファリングし、新しい特徴が到着する度にモデルを段階的に更新するリアルタイム変種（GTA-RL-rt）を開発する。
• 推論中に解の安定性と品質を向上させるために、ビーム幅10のビームサーチ戦略を採用する。
• 最終的な解の品質（例：巡回路長）に基づくスパース報酬を用いた強化学習により、モデルをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 エッジ重みやノード特徴量が時間とともに変化する動的グラフ組合せ最適化問題に対して、深層強化学習モデルが効果的にヒューリスティクスを学習できるか。
• RQ2 提案手法GTA-RLは、動的TSPおよびVRPにおいて、最先端の学習ベース手法および手作業で設計されたヒューリスティクスと比較して、解の品質と効率性の面でどのように優れているか。
• RQ3 訓練時に使用されたインスタンス（例：20ノード）よりも大きなグラフインスタンス（例：50ノード）に対して、学習済みモデルがどの程度一般化できるか。
• RQ4 入力特徴が推論時に完全に入手可能でない、段階的に明らかになる状況において、リアルタイム変種（GTA-RL-rt）はどの程度有効か。
• RQ5 正確な解法と比較して、計算効率を維持しながら動的状況下で準最適な性能を達成できるか。

主な発見

• GTA-RLは、動的TSPおよびVRP問題において、最先端の学習ベースベースラインおよび手作業で設計されたヒューリスティクスを上回る解の品質を達成した。
• 動的TSP50において、GTA-RLは巡回路長8.17を達成し、50ノードで訓練されたモデルと比較してわずか3.6%の差異にとどまり、優れた一般化能力を示した。
• 動的VRP50において、GTA-RLは50ノードで訓練されたモデルと比較して巡回路長に4.3%の差異を示し、強力なスケーラビリティを示した。
• リアルタイム変種GTA-RL-rtは、現在時刻の情報のみを用いているにもかかわらず、GTA-RL-greedyと同等の平均巡回路長を達成したが、ランダムな特徴変更の影響により高いばらつきを示した。
• 可視化結果から、GTA-RL-greedyはアテンションベースのモデル（AM）と比較して、より一貫性があり短い巡回路を生成しており、Gurobiの最適解に著しく近い。
• GTA-RLは動的状況下で準最適な性能を達成しながらも、計算効率を維持しており、正確な解法を上回る速度とスケーラビリティを示した。