[论文解读] ML4CO: Is GCNN All You Need? Graph Convolutional Neural Networks Produce Strong Baselines For Combinatorial Optimization Problems, If Tuned and Trained Properly, on Appropriate Data

Amin Banitalebi-Dehkordi, Yong Zhang|arXiv (Cornell University)|Dec 22, 2021

Advanced Graph Neural Networks被引用 4

一句话总结

该论文表明，通过在分支定界算法中学习变量选择，经过良好调优的图卷积神经网络（GCNN）可在组合优化问题上实现最先进性能。华为EI-OROAS团队在NeurIPS 2021 ML4CO竞赛中获得第二名，并在每周评估中保持一致的顶尖排名，证明了当在特定问题数据上充分训练时，GCNN优于传统启发式方法。

ABSTRACT

The 2021 NeurIPS Machine Learning for Combinatorial Optimization (ML4CO) competition was designed with the goal of improving state-of-the-art combinatorial optimization solvers by replacing key heuristic components with machine learning models. The competition's main scientific question was the following: is machine learning a viable option for improving traditional combinatorial optimization solvers on specific problem distributions, when historical data is available? This was motivated by the fact that in many practical scenarios, the data changes only slightly between the repetitions of a combinatorial optimization problem, and this is an area where machine learning models are particularly powerful at. This paper summarizes the solution and lessons learned by the Huawei EI-OROAS team in the dual task of the competition. The submission of our team achieved the second place in the final ranking, with a very close distance to the first spot. In addition, our solution was ranked first consistently for several weekly leaderboard updates before the final evaluation. We provide insights gained from a large number of experiments, and argue that a simple Graph Convolutional Neural Network (GCNNs) can achieve state-of-the-art results if trained and tuned properly.

研究动机与目标

• 探究机器学习，特别是GCNN，是否能够通过学习组合优化求解器中的启发式组件，改善具有重复结构模式的问题分布的性能。
• 评估GCNN在混合整数线性规划（MILP）的分支定界算法中学习变量选择的有效性。
• 识别在实际优化环境中显著影响模型性能的关键超参数和数据工程实践。
• 为从业者提供实用指南，以在组合优化中最大化神经网络的性能。

提出的方法

• 该团队采用图卷积神经网络（GCNN）来预测在MILP求解的分支定界过程中应分支的最佳变量。
• 模型基于SCIP求解器日志中收集的数据进行训练，采用强化学习设置，奖励信号基于求解时间的减少。
• 数据收集通过使用不同的强分支概率和不同时间限制对MILP实例进行采样，以生成多样化的训练轨迹。
• 通过调整学习率、批量大小、GCN架构深度和训练样本大小等超参数，以优化验证性能。
• 使用来自三个领域（物品放置、负载均衡和匿名问题）的标准MILP实例基准集对模型进行评估。
• 团队采用多目标评估策略，同时跟踪前k名变量选择准确率（top-1至top-10）和整体奖励（求解时间改善）。

实验结果

研究问题

• RQ1 当经过充分训练和调优时，简单的GCNN是否能在组合优化中实现最先进性能？
• RQ2 训练样本大小、时间限制和强分支概率等超参数如何影响最终模型性能？
• RQ3 前1名变量选择准确率在多大程度上与整体求解时间改善（即奖励）相关？
• RQ4 在此设置中，增加训练数据量是否总是能带来更好的模型泛化能力？
• RQ5 数据工程在实现神经网络于优化中高性能方面发挥着何种作用？

主要发现

• 基于GCNN的模型在NeurIPS 2021 ML4CO竞赛最终排名中获得第二名，与第一名解决方案仅相差极小差距。
• 在最终评估前的多次每周排行榜更新中，该模型均排名第一，表明其具备出色的泛化能力和鲁棒性。
• 更大的训练集大小并不一定带来更高的奖励，挑战了“更多数据总是提升性能”的普遍假设。
• 前5名和前10名变量选择准确率经常超过90%，表明GCNN能够可靠地识别高质量的分支候选。
• 模型性能对数据收集过程中强分支概率和时间限制等超参数极为敏感，表明数据质量和多样性至关重要。
• 本研究强调，以数据为中心的AI——即精心的数据收集与预处理——在实现组合优化中高性能方面，其重要性可与模型架构相媲美。