[论文解读] Machine Learning for Combinatorial Optimization: a Methodological Tour d'Horizon

Yoshua Bengio, Andrea Lodi+1 more|arXiv (Cornell University)|Nov 14, 2018

Advanced Database Systems and Queries被引用 41

一句话总结

一份综述，概述了如何利用机器学习，尤其是深度学习，通过学习策略并将 ML 与 CO 算法结合，在问题实例的数据分布视角下解决和改进组合优化问题。

ABSTRACT

This paper surveys the recent attempts, both from the machine learning and operations research communities, at leveraging machine learning to solve combinatorial optimization problems. Given the hard nature of these problems, state-of-the-art algorithms rely on handcrafted heuristics for making decisions that are otherwise too expensive to compute or mathematically not well defined. Thus, machine learning looks like a natural candidate to make such decisions in a more principled and optimized way. We advocate for pushing further the integration of machine learning and combinatorial optimization and detail a methodology to do so. A main point of the paper is seeing generic optimization problems as data points and inquiring what is the relevant distribution of problems to use for learning on a given task.

研究动机与目标

• 推动将机器学习与组合优化相结合，以在 CO 算法中实现决策过程的自动化或增强。
• 提出一种数据驱动的方法，将优化问题视为从分布中抽取的数据点。
• 讨论两种学习范式（模仿学习和强化学习）用于推导算法策略。
• 强调 CO 结构如何提供先验，以及学习如何在不同问题分布之间实现泛化。

提出的方法

• 描述两种正交视角：通过模仿专家决策来学习策略，以及通过经验强化学习来学习策略。
• 解释如何使用机器学习模型（例如神经网络、GNNs、注意力机制）表示和处理 CO 问题及算法状态。
• 说明如何用学习得到的近似来替代或增强繁重的 CO 决策（例如切割、分支选择），同时将 CO 结构作为先验保持不变。
• 讨论使用结构化数据表示（图、子问题）以及学习到的价值/策略网络来引导分支定界、割平面和其他 CO 组件。
• 解决泛化问题以及在对问题实例学习时分布假设的重要性。

实验结果

研究问题

• RQ1 如何在 MILP/B&B 框架内学习 ML 策略以近似或替代昂贵的 CO 决策（如分支、割平面）？
• RQ2 在推导 CO 算法的决策策略时，哪些有效的学习设置（模仿学习 vs. 强化学习）？
• RQ3 应如何定义并使用问题分布来训练 ML 模型，使学习到的策略对未见实例具有泛化能力？
• RQ4 哪些 ML 架构（如 GNNs、注意力、深度网络）最适合处理 CO 问题中典型的结构化数据？
• RQ5 将 ML 集成到 CO 流水线中会带来哪些实际挑战，如何应对？

主要发现

• ML 可以近似繁重的 CO 决策以加速求解，同时将 CO 结构作为先验进行利用。
• 探索了两种学习范式：模仿学习以复制专家操作，强化学习以发现新的策略。
• 基于图和基于注意力的神经网络架构可以处理结构化的 CO 子问题，并指导如分支或割平面等决策。
• 在 CO 生态系统内进行学习可以在适当时保持可行性和最优性的保证，同时提升经验性能。
• CO 问题可以被视为来自分布的数据点，从而使学习能够针对可能的实例类型定制算法。