[论文解读] A Note on Learning Algorithms for Quadratic Assignment with Graph Neural Networks.

Alex Nowak, Soledad Villar+2 more|arXiv (Cornell University)|Jun 22, 2017

Advanced Graph Neural Networks参考文献 27被引用 95

一句话总结

本文提出一种基于数据驱动的方法，利用图神经网络（GNN）学习网络科学中一个基础的NP难问题——二次分配问题（QAP）的解。通过在带有'植入解'的标注实例上进行训练，GNN模型在平均情况下的表现优异，优于传统基于松弛的方法，在具有挑战性的场景中表现更佳。

ABSTRACT

Inverse problems correspond to a certain type of optimization problems formulated over appropriate input distributions. Recently, there has been a growing interest in understanding the computational hardness of these optimization problems, not only in the worst case, but in an average-complexity sense under this same input distribution. In this revised note, we are interested in studying another aspect of hardness, related to the ability to learn how to solve a problem by simply observing a collection of previously solved instances. These 'planted solutions' are used to supervise the training of an appropriate predictive model that parametrizes a broad class of algorithms, with the hope that the resulting model will provide good accuracy-complexity tradeoffs in the average sense. We illustrate this setup on the Quadratic Assignment Problem, a fundamental problem in Network Science. We observe that data-driven models based on Graph Neural Networks offer intriguingly good performance, even in regimes where standard relaxation based techniques appear to suffer.

研究动机与目标

• 探究机器学习模型是否能在平均情况输入分布下有效学习求解逆向优化问题。
• 评估基于数据驱动的GNN模型在解决二次分配问题时，是否能实现更优的准确率-复杂度权衡。
• 比较在QAP场景下，基于植入解训练的GNN与经典基于松弛的优化技术的性能表现。
• 探索QAP在现实输入分布下的计算难度，不仅限于最坏情况，也涵盖平均情况。

提出的方法

• 该方法采用图神经网络学习一个预测模型，将问题实例映射到解，训练数据为带有'植入'最优解的QAP实例。
• 训练数据由配对的QAP实例及其对应最优或近似最优解组成，支持解映射的监督学习。
• GNN架构将两个加权图（位置矩阵和设施矩阵）作为输入，通过迭代的邻域聚合学习节点级和边级表示。
• 模型采用可微损失函数进行端到端训练，以最小化预测解与植入解之间的差异。
• 性能评估基于不同QAP实例分布下的解质量与计算效率。

实验结果

研究问题

• RQ1 当在带有最优解植入的实例上进行训练时，图神经网络能否有效学习求解二次分配问题？
• RQ2 在QAP的平均情况场景下，基于GNN的模型性能与经典基于松弛的方法相比如何？
• RQ3 在哪些场景下，基于数据驱动的GNN模型优于传统的优化技术？
• RQ4 输入分布对逆向优化问题中GNN的可学习性与泛化能力有何影响？

主要发现

• 基于GNN的模型在二次分配问题上表现强劲，即使在标准基于松弛的技术失效或显著退化的情况下亦然。
• 模型在平均情况下展现出有利的准确率-复杂度权衡，表明其在多样化QAP实例中具有良好的泛化能力。
• 使用植入解实现了有效的监督，使GNN能够学习问题实例中的有意义结构模式。
• 结果表明，通过GNN进行数据驱动学习为QAP提供了一种有前景的替代方案，尤其在复杂或密集的问题实例中优于传统优化启发式方法。