[论文解读] Deep Optimisation: Solving Combinatorial Optimisation Problems using Deep Neural Networks

J R Caldwell, Richard A. Watson+2 more|arXiv (Cornell University)|Nov 2, 2018

Metaheuristic Optimization Algorithms Research参考文献 24被引用 10

一句话总结

本文提出深度优化（Deep Optimisation, DO），一种新颖方法，利用深度神经网络（DNNs）在组合优化问题的进化搜索中动态调整变异算子。通过分层训练过程学习问题的层次结构，DO 在具有深层、高阶依赖关系的问题（如奇偶模约束问题和TSP实例）上优于当前最先进模型构建优化算法，展现出更优的解质量与更快的收敛速度。

ABSTRACT

Deep Optimisation (DO) combines evolutionary search with Deep Neural Networks (DNNs) in a novel way - not for optimising a learning algorithm, but for finding a solution to an optimisation problem. Deep learning has been successfully applied to classification, regression, decision and generative tasks and in this paper we extend its application to solving optimisation problems. Model Building Optimisation Algorithms (MBOAs), a branch of evolutionary algorithms, have been successful in combining machine learning methods and evolutionary search but, until now, they have not utilised DNNs. DO is the first algorithm to use a DNN to learn and exploit the problem structure to adapt the variation operator (changing the neighbourhood structure of the search process). We demonstrate the performance of DO using two theoretical optimisation problems within the MAXSAT class. The Hierarchical Transformation Optimisation Problem (HTOP) has controllable deep structure that provides a clear evaluation of how DO works and why using a layerwise technique is essential for learning and exploiting problem structure. The Parity Modular Constraint Problem (MCparity) is a simplistic example of a problem containing higher-order dependencies (greater than pairwise) which DO can solve and state of the art MBOAs cannot. Further, we show that DO can exploit deep structure in TSP instances. Together these results show that there exists problems that DO can find and exploit deep problem structure that other algorithms cannot. Making this connection between DNNs and optimisation allows for the utilisation of advanced tools applicable to DNNs that current MBOAs are unable to use.

研究动机与目标

• 通过使用DNN不仅用于训练模型，而是直接指导进化算法中的搜索过程，弥合深度学习与组合优化之间的鸿沟。
• 解决现有模型构建优化算法（MBOAs）的局限性，这些算法依赖浅层模型，无法利用深层、分层的问题结构。
• 探究DNN是否能够学习并利用传统MBOAs无法捕捉的复杂、高阶变量依赖关系（例如，超越成对依赖的关系）。
• 证明DNN中的分层训练方法对于学习并利用优化中深层问题结构至关重要。
• 通过DO将深度学习工具（如dropout、正则化及先进架构）的应用范围扩展至组合优化。

提出的方法

• DO将深度神经网络作为模型引导的变异算子，替代进化搜索中的标准变异和交叉操作。
• DNN通过分层训练方式学习高质量解中变量相关性的分层表示，模仿监督学习中的深度特征学习。
• 使用贪心构造启发式算法生成可行解：对于TSP行程中的每个当前位置，DNN预测连接概率，通过在有效连接上取最大值操作选择下一个位置。
• 当所有正向连接耗尽时，选择一个随机的有效位置以确保可行性，同时保留已学习的子环路，保持放置灵活性。
• DNN的输出被解释为每个节点的连接向量，其中正值表示TSP行程中可能的边，负值表示无连接。
• 训练和搜索期间以位置插入启发式算法作为基础变异算子，实现对解空间的有效探索，同时保留已学习的构建模块。

实验结果

研究问题

• RQ1 DNN能否用于学习并利用组合优化问题中对标准MBOAs而言病理困难的深层、分层问题结构？
• RQ2 与端到端训练相比，DNN的分层训练方法是否对成功学习并利用深层问题结构至关重要？
• RQ3 DO能否解决当前MBOAs无法处理的高阶依赖关系问题（例如，三重依赖或模运算交互）？
• RQ4 将DNN集成到变异算子中是否能显著提升基准问题（如TSP）上的收敛速度和解质量？
• RQ5 DO能否在不同类型问题上实现泛化，包括非二值化表示和不可行解空间？

主要发现

• DO成功解决了奇偶模约束问题（MC parity），该问题具有高阶依赖关系，而当前最先进MBOAs无法求解。
• DO在TSP实例上优于局部搜索启发式算法（如2-opt、位置交换、插入法），在多个问题规模下所有10次运行均找到全局最优解。
• DO达到全局最优所需的训练次数显著低于重启爬山算法，表明其对问题结构的利用更迅速。
• 在较大的TSP实例上，即使爬山算法允许10,000次尝试，DO仍保持强劲性能，展现出鲁棒性与高效的结构利用能力。
• DNN的分层训练至关重要——端到端训练无法学习深层结构，证实了分层特征学习的重要性。
• DO使高级深度学习工具（如dropout、正则化）在优化中得以应用，为提升泛化能力和搜索效率开辟了新途径。