[论文解读] Graph Learning for Combinatorial Optimization: A Survey of State-of-the-Art

Yün Peng, Byron Choi+1 more|arXiv (Cornell University)|Aug 26, 2020

Advanced Graph Neural Networks参考文献 88被引用 6

一句话总结

本综述系统性地概述了用于求解组合优化（CO）问题的图学习方法，将近期方法归类为两阶段框架：首先进行图表示学习（通过图嵌入或端到端学习），然后使用非自回归或自回归方法预测解。主要贡献在于对最先进方法的系统性分类法，突出其机制、局限性以及在泛化能力、任务特定设计和与传统启发式算法集成方面的未来研究方向。

ABSTRACT

Graphs have been widely used to represent complex data in many applications. Efficient and effective analysis of graphs is important for graph-based applications. However, most graph analysis tasks are combinatorial optimization (CO) problems, which are NP-hard. Recent studies have focused a lot on the potential of using machine learning (ML) to solve graph-based CO problems. Most recent methods follow the two-stage framework. The first stage is graph representation learning, which embeds the graphs into low-dimension vectors. The second stage uses ML to solve the CO problems using the embeddings of the graphs learned in the first stage. The works for the first stage can be classified into two categories, graph embedding (GE) methods and end-to-end (E2E) learning methods. For GE methods, learning graph embedding has its own objective, which may not rely on the CO problems to be solved. The CO problems are solved by independent downstream tasks. For E2E learning methods, the learning of graph embeddings does not have its own objective and is an intermediate step of the learning procedure of solving the CO problems. The works for the second stage can also be classified into two categories, non-autoregressive methods and autoregressive methods. Non-autoregressive methods predict a solution for a CO problem in one shot. A non-autoregressive method predicts a matrix that denotes the probability of each node/edge being a part of a solution of the CO problem. The solution can be computed from the matrix. Autoregressive methods iteratively extend a partial solution step by step. At each step, an autoregressive method predicts a node/edge conditioned to current partial solution, which is used to its extension. In this survey, we provide a thorough overview of recent studies of the graph learning-based CO methods. The survey ends with several remarks on future research directions.

研究动机与目标

• 提供对基于机器学习的求解图上NP难组合优化问题的近期方法的系统性综述。
• 对当前大多数基于图学习的CO方法所采用的两阶段框架进行分类与分析：图表示学习后接解预测。
• 识别在泛化能力、损失函数设计和模型架构适配方面针对多样化CO问题的关键挑战。
• 突出开放的研究问题，如全局图结构编码、与传统启发式算法的集成，以及在大规模图集上的可扩展性。

提出的方法

• 将图表示学习分为两类：图嵌入方法（具有独立目标）和端到端学习方法（与CO任务联合优化）。
• 将解预测方法分为非自回归方法（通过概率矩阵一步预测解矩阵）和自回归方法（通过迭代扩展部分解）。
• 回顾关键技术，包括基于SkipGram的方法、基于自编码器的方法以及基于GNN的表示用于图编码。
• 分析在自回归方法中使用启发式搜索和强化学习来引导部分解扩展的机制。
• 考察交叉熵等损失函数及其在捕捉CO问题目标方面的局限性，尤其是在TSP等小变化即导致解质量剧烈变化的问题中。
• 提出未来的方法论方向，包括设计问题特定的损失函数，以及将传统启发式操作（如2-opt、最远点插入）整合到学习流程中。

实验结果

研究问题

• RQ1 图表示学习技术在目标和下游组合优化任务适用性方面有何差异？
• RQ2 基于图的CO中，非自回归与自回归解预测方法的关键差异与权衡是什么？
• RQ3 为何当前基于学习的CO方法在泛化到更大或未见过的图时，常表现不如传统启发式算法？
• RQ4 如何有效将传统启发式算法集成到CO问题的机器学习流程中以提升性能？
• RQ5 在提升图学习方法在CO问题中的泛化能力和可扩展性方面，最具前景的方向是什么？

主要发现

• 非自回归方法一步预测解矩阵，通过束搜索等启发式方法生成解，推理速度快但结果可能次优。
• 自回归方法通过强化学习或启发式搜索迭代扩展部分解，虽推理时间更长，但能获得更优解。
• 端到端学习方法为CO任务专门学习图嵌入，而图嵌入方法使用固定预训练表示，导致性能权衡不同。
• 当前方法在大规模或未见图上常表现不如传统启发式算法，表明学习流程中亟需提升泛化能力。
• 将传统启发式算法（如2-opt或最远点优先插入）整合到学习模型中可显著提升解质量，TSP应用中已得到验证。
• 设计问题特定的损失函数至关重要，因为标准损失（如交叉熵）可能无法反映CO问题（如TSP）的真实目标，其中微小结构变化即导致目标值剧烈波动。