[论文解读] Deep Learning for Explicitly Modeling Optimization Landscapes

Shumeet Baluja|arXiv (Cornell University)|Mar 21, 2017

Machine Learning and Data Classification参考文献 30被引用 5

一句话总结

本文提出一种基于深度学习的方法，通过训练深度神经网络（DNN）来显式建模复杂、高维问题的优化景观。通过使用“深度网络反演”生成高质量的初始解，该方法在多种领域（包括组合优化、离散优化和连续优化问题）中显著提升了局部搜索性能，相较于标准的随机搜索方法（如遗传算法）表现出显著优势。

ABSTRACT

In all but the most trivial optimization problems, the structure of the solutions exhibit complex interdependencies between the input parameters. Decades of research with stochastic search techniques has shown the benefit of explicitly modeling the interactions between sets of parameters and the overall quality of the solutions discovered. We demonstrate a novel method, based on learning deep networks, to model the global landscapes of optimization problems. To represent the search space concisely and accurately, the deep networks must encode information about the underlying parameter interactions and their contributions to the quality of the solution. Once the networks are trained, the networks are probed to reveal parameter combinations with high expected performance with respect to the optimization task. These estimates are used to initialize fast, randomized, local search algorithms, which in turn expose more information about the search space that is subsequently used to refine the models. We demonstrate the technique on multiple optimization problems that have arisen in a variety of real-world domains, including: packing, graphics, job scheduling, layout and compression. The problems include combinatoric search spaces, discontinuous and highly non-linear spaces, and span binary, higher-cardinality discrete, as well as continuous parameters. Strengths, limitations, and extensions of the approach are extensively discussed and demonstrated.

研究动机与目标

• 开发一种利用深度神经网络显式建模优化景观结构的方法。
• 通过使用训练好的DNN生成高质量初始解，改进随机优化中的局部搜索性能。
• 通过利用DNN学习到的参数交互关系，减少局部搜索中对随机扰动的依赖。
• 探索深度学习与传统优化启发式方法（如爬山法和遗传算法）的集成。
• 在多种问题类型上评估该方法，包括组合优化、不连续问题和非线性搜索空间。

提出的方法

• 使用采样得到的解，训练一个深度前馈神经网络，以近似优化问题的真实评估函数。
• 使用“深度网络反演”——一种可微分的采样技术——从训练好的DNN中生成具有高期望性能的新候选解。
• 使用DNN生成的候选解初始化快速、随机的局部搜索算法（如NASH），以探索搜索空间中的有希望区域。
• 通过从局部搜索中收集新的评估结果，并使用更新后的数据重新训练网络，迭代优化DNN模型。
• 在增量训练过程中使用早停和正则化策略，防止过拟合。
• 将DNN用作代理评估函数以加速搜索过程，减少对昂贵真实评估的依赖。

实验结果

研究问题

• RQ1 深度神经网络是否能在极少依赖问题特定设计的前提下，有效建模复杂、高维的优化景观？
• RQ2 与随机初始化相比，使用DNN生成的初始解是否能提升局部搜索算法的性能？
• RQ3 将深度学习与随机优化相结合，对不同问题类型的收敛速度和解质量有何影响？
• RQ4 DNN模型是否能在相似的优化问题之间实现泛化，从而支持迁移学习并减少重新训练？
• RQ5 哪些关键超参数和训练策略会影响该方法的鲁棒性和可扩展性？

主要发现

• Deep-Opt-GA方法在基于图的约束问题上实现了5131的平均性能，显著优于种群规模为50和100的标准遗传算法（分别实现4817和4825），在全部20次实例中均获胜。
• 该方法在多个领域（包括装箱、图形、作业调度、布局和压缩）中均表现出一致的性能提升，尽管问题类型和搜索空间特性各不相同。
• 利用深度网络反演生成高质量初始解，显著加快了局部搜索的收敛速度，并获得了更高质量的解。
• 该方法在极少进行架构调优的情况下表现出鲁棒性，所有问题均使用相同的5层和10层前馈网络，无需针对问题进行修改。
• 通过编码从先前评估中学习到的参数交互关系，减少了对随机探索的依赖，使搜索方向更具智能性。
• 研究发现，当新样本无法被容纳时，必须从头开始重新训练网络，表明对权重缩放敏感，且增量训练中需要正则化。