[论文解读] Algorithm Runtime Prediction: Methods & Evaluation

Frank Hutter, Lin Xu+2 more|arXiv (Cornell University)|Nov 5, 2012

Advanced Multi-Objective Optimization Algorithms参考文献 88被引用 44

一句话总结

本文提出了一套全面的机器学习框架，用于预测算法运行时间，引入了基于随机森林和近似高斯过程的先进模型，并为SAT、TSP和MIP问题设计了新颖的实例特征。结果表明，这些模型在11种算法和35种实例分布上，对新实例和新参数配置的泛化能力显著优于先前方法。

ABSTRACT

Perhaps surprisingly, it is possible to predict how long an algorithm will take to run on a previously unseen input, using machine learning techniques to build a model of the algorithm's runtime as a function of problem-specific instance features. Such models have important applications to algorithm analysis, portfolio-based algorithm selection, and the automatic configuration of parameterized algorithms. Over the past decade, a wide variety of techniques have been studied for building such models. Here, we describe extensions and improvements of existing models, new families of models, and -- perhaps most importantly -- a much more thorough treatment of algorithm parameters as model inputs. We also comprehensively describe new and existing features for predicting algorithm runtime for propositional satisfiability (SAT), travelling salesperson (TSP) and mixed integer programming (MIP) problems. We evaluate these innovations through the largest empirical analysis of its kind, comparing to a wide range of runtime modelling techniques from the literature. Our experiments consider 11 algorithms and 35 instance distributions; they also span a very wide range of SAT, MIP, and TSP instances, with the least structured having been generated uniformly at random and the most structured having emerged from real industrial applications. Overall, we demonstrate that our new models yield substantially better runtime predictions than previous approaches in terms of their generalization to new problem instances, to new algorithms from a parameterized space, and to both simultaneously.

研究动机与目标

• 提升高度参数化算法运行时间预测模型的准确性和泛化能力。
• 为SAT、MIP和TSP问题开发全新的综合性特征集，包括探测特征和计时特征。
• 开展迄今为止最全面的运行时间预测方法实证评估，涵盖新实例、新参数配置，以及两者同时存在的情况。
• 整合生存分析技术，以更好地处理因提前终止而产生的运行时间数据。
• 为算法选择、配置和基准生成建立新的经验性能建模（EPMs）最先进水平。

提出的方法

• 采用随机森林和近似高斯过程作为运行时间预测的核心回归模型。
• 将算法参数（包括分类和连续变量）作为输入特征，以建模在参数化算法空间中的性能表现。
• 设计并实现新颖的实例特征：探测特征（如部分求解行为）和计时特征（如早期执行指标）。
• 使用统一框架在三个不同的预测任务上评估模型：对新实例的泛化、对新参数设置的泛化，以及两者同时的泛化。
• 应用生存分析技术（如Cox比例风险模型）处理因运行未完成而产生的右删失数据。
• 利用包含11种算法和35种实例分布的完整数据集（覆盖SAT、MIP和TSP）进行模型训练与验证。

实验结果

研究问题

• RQ1 与经典回归模型相比，随机森林和近似高斯过程等先进机器学习模型是否能显著提升运行时间预测的准确性？
• RQ2 特别是探测特征和计时特征，其在SAT、MIP和TSP问题中的新实例特征在多大程度上提升了预测性能？
• RQ3 所提出的模型在未见问题实例、未见算法参数配置以及两者同时情况下，其泛化能力如何？
• RQ4 在处理因提前终止而产生的删失运行时间数据时，生存分析技术是否能提升预测性能？
• RQ5 当前经验性能建模（EPMs）的最先进水平是什么？所提出的模型在全面评估中与所有现有方法相比表现如何？

主要发现

• 所提出的模型，特别是结合生存分析扩展的随机森林，相较于以往方法，在未见问题实例上的泛化性能有显著提升。
• 将算法参数作为模型输入显著提升了预测准确性，尤其在参数化算法配置场景中表现突出。
• 新特征集（SAT为138个，MIP为121个，TSP为64个）表明，探测特征和计时特征对运行时间行为具有高度预测性。
• 在11种算法和35种实例分布上的评估结果表明，所提出的模型在预测准确性和鲁棒性方面全面优于所有先前方法。
• 生存分析技术进一步提升了最佳模型（随机森林）的性能，尤其在处理不完整运行的删失数据方面表现优异。
• 本研究确立了EPMs的新基准，表明先进模型、丰富特征与全面评估的结合，可实现算法运行时间预测的最先进性能。