[论文解读] Approximating meta-heuristics with homotopic recurrent neural networks

Alessandro Bay, Biswa Sengupta|arXiv (Cornell University)|Sep 7, 2017

Metaheuristic Optimization Algorithms Research参考文献 25被引用 5

一句话总结

本文提出使用带有注意力机制的序列到序列（Seq2Seq）循环神经网络，以在376个节点的路网中近似A*元启发式算法生成的最短路径。结果表明，Seq2Seq模型在性能上优于普通RNN和Q-routing方法，且同伦延拓进一步通过提升收敛至最优极值的能力，改善了解决方案质量。

ABSTRACT

Much combinatorial optimisation problems constitute a non-polynomial (NP) hard optimisation problem, i.e., they can not be solved in polynomial time. One such problem is finding the shortest route between two nodes on a graph. Meta-heuristic algorithms such as $A^{*}$ along with mixed-integer programming (MIP) methods are often employed for these problems. Our work demonstrates that it is possible to approximate solutions generated by a meta-heuristic algorithm using a deep recurrent neural network. We compare different methodologies based on reinforcement learning (RL) and recurrent neural networks (RNN) to gauge their respective quality of approximation. We show the viability of recurrent neural network solutions on a graph that has over 300 nodes and argue that a sequence-to-sequence network rather than other recurrent networks has improved approximation quality. Additionally, we argue that homotopy continuation -- that increases chances of hitting an extremum -- further improves the estimate generated by a vanilla RNN.

研究动机与目标

• 探究深度循环神经网络是否能有效近似解决NP难组合优化问题，特别是最短路径计算。
• 比较不同序列建模架构（特别是Seq2Seq RNN、普通RNN和Q-routing）在包含300多个节点的实际图上的性能表现。
• 评估同伦延拓对改进基于RNN的路径近似优化景观和收敛性的效果。
• 评估深度学习模型在大规模图问题中近似A*等元启发式解的可扩展性和保真度。

提出的方法

• 作者使用来自明尼苏达州的真实路网作为图数据集，包含376个节点和455条边，且限定在特定地理范围内。
• 最短路径通过使用欧几里得距离启发式的A*算法生成，作为训练和评估的真值标签。
• 训练循环神经网络（包括普通RNN、LSTM、GRU以及带注意力机制的Seq2Seq模型）将源节点到目标节点的配对映射为预测路径。
• Q-routing算法作为强化学习基线，基于耗时和未来最小成本进行q-table更新。
• 通过热方程逐步变形优化景观，对损失函数进行演化，实现同伦延拓，以改善收敛至全局极值的能力。
• 通过预测路径与A*生成路径之间的路径交集率评估模型性能，注意力机制提升了序列建模的保真度。

实验结果

研究问题

• RQ1 带有注意力机制的Seq2Seq循环神经网络能否在大规模图上有效近似A*算法生成的最短路径？
• RQ2 Seq2Seq RNN在近似A*生成路径方面的性能与普通RNN和Q-routing相比如何？
• RQ3 同伦延拓在多大程度上改善了基于RNN的路径近似优化过程和解决方案质量？
• RQ4 Seq2Seq模型中使用注意力机制是否显著提升了与真值A*路径的路径交集准确率？
• RQ5 基于RNN的模型能否在节点数超过300的图上保持高保真度的同时实现有效扩展？

主要发现

• 带注意力机制的Seq2Seq模型与A*生成路径的路径交集率达到78%，优于其他架构。
• 使用扩散训练的普通RNN生成了有效路径，但准确度较低，表明通过网络架构改进仍有提升空间。
• 同伦延拓通过提升在非凸损失景观中收敛至更优极值的能力，改善了普通RNN的估计质量。
• Seq2Seq模型在近似A*路径方面表现出优于普通RNN和Q-routing的保真度，尤其在处理长序列时表现更优。
• 本研究证实，深度循环网络能够有效近似大规模图上NP难问题（如最短路径计算）的解。
• 结果表明，将注意力机制与基于同伦的优化策略结合，可显著提升基于RNN的路径近似的可靠性与准确性。