[論文レビュー] Approximating meta-heuristics with homotopic recurrent neural networks

Alessandro Bay, Biswa Sengupta|arXiv (Cornell University)|Sep 7, 2017

Metaheuristic Optimization Algorithms Research参考文献 25被引用数 5

ひとこと要約

本稿では、376ノードの道路ネットワーク上でA*メタヒューリスティックが生成する最短経路を近似するために、アテンション機構を備えたシーケンス・ツー・シーケンス（Seq2Seq）再帰的ニューラルネットワークを提案する。実験では、Seq2Seqモデルが通常のRNNやQルーティングを上回ることを示し、ホモトピー継続法を用いることで収束性が向上し、最適解への到達が促進されることが明らかになった。

ABSTRACT

Much combinatorial optimisation problems constitute a non-polynomial (NP) hard optimisation problem, i.e., they can not be solved in polynomial time. One such problem is finding the shortest route between two nodes on a graph. Meta-heuristic algorithms such as $A^{*}$ along with mixed-integer programming (MIP) methods are often employed for these problems. Our work demonstrates that it is possible to approximate solutions generated by a meta-heuristic algorithm using a deep recurrent neural network. We compare different methodologies based on reinforcement learning (RL) and recurrent neural networks (RNN) to gauge their respective quality of approximation. We show the viability of recurrent neural network solutions on a graph that has over 300 nodes and argue that a sequence-to-sequence network rather than other recurrent networks has improved approximation quality. Additionally, we argue that homotopy continuation -- that increases chances of hitting an extremum -- further improves the estimate generated by a vanilla RNN.

研究の動機と目的

• 深層再帰的ニューラルネットワークが、特に最短経路計算を含むNP困難な組合せ最適化問題の解を効果的に近似できるかどうかを調査すること。
• 300ノードを超える実世界のグラフ上で、特にSeq2Seq RNN、通常のRNN、Qルーティングといった異なるシーケンスモデリングアーキテクチャの性能を比較すること。
• RNNベースの経路近似における最適化の多様性と収束性を向上させるために、ホモトピー継続法の影響を評価すること。
• 深層学習モデルが、大規模なグラフ問題におけるA*のようなメタヒューリスティック解を近似する際のスケーラビリティと忠実度を評価すること。

提案手法

• 研究では、376ノードと455エッジを有するミネソタ州の実際の道路ネットワークをグラフデータセットとして用い、特定の地理的範囲に制限した。
• 最短経路は、ユーグリッド距離ヒューリスティックを用いたA*アルゴリズムにより生成され、学習および評価のための正解ラベルとして用いられた。
• 通常のRNN、LSTM、GRU、およびアテンション機構を備えたSeq2Seqモデルを含む再帰的ニューラルネットワークを、ソースノードからターゲットノードへのペアを入力として予測経路を出力するように学習させた。
• Qルーティングアルゴリズムは強化学習のベースラインとして実装され、所要時間と将来の最小コストに基づくqテーブルの更新が行われた。
• ホモトピー継続法は、熱方程式を介して損失関数を段階的に変形することで適用され、最適化の多様性を向上させ、グローバル極値への収束を促進した。
• モデルの性能は、予測経路とA*が生成した経路との間の経路インターセクション率を用いて評価され、アテンション機構がシーケンスモデリングの忠実度を向上させた。

実験結果

リサーチクエスチョン

• RQ1 A*アルゴリズムが生成する大規模グラフ上の最短経路を、アテンション機構を備えたSeq2Seq再帰的ニューラルネットワークが効果的に近似できるか？
• RQ2 Seq2Seq RNNの性能は、通常のRNNやQルーティングと比較して、A*が生成した経路を近似する際に優れているか？
• RQ3 ホモトピー継続法は、RNNベースの経路近似における最適化プロセスと解の質をどの程度向上させるか？
• RQ4 Seq2Seqモデルにおけるアテンション機構の使用は、正解A*経路との経路インターセクション精度を向上させるか？
• RQ5 RNNベースのモデルは、300ノードを超えるグラフに対しても、高い近似忠実度を維持しながら効果的にスケーリングできるか？

主な発見

• アテンション機構を備えたSeq2Seqモデルは、A*が生成した経路と78%の経路インターセクション率を達成し、他のアーキテクチャを上回った。
• 拡散を用いて学習された通常のRNNは有効な経路を生成したが、精度は低く、アーキテクチャの洗練によって改善の余地があることが示された。
• ホモトピー継続法により、非凸な損失関数の多様性において、通常のRNNの推定品質が向上し、より良い極値への収束が促進された。
• 特に長時間のシーケンス処理において、Seq2Seqモデルは通常のRNNやQルーティングよりもA*経路を忠実に近似する能力に優れていた。
• 本研究では、深層再帰ネットワークが、大規模なグラフ上での最短経路計算というNP困難問題の解を効果的に近似できることを確認した。
• 結果から、アテンション機構とホモトピーに基づく最適化戦略を組み合わせることで、RNNベースの経路近似の信頼性と正確性が顕著に向上することが示唆された。