[论文解读] LeapsAndBounds: A Method for Approximately Optimal Algorithm Configuration

Gellért Weisz, András György+1 more|arXiv (Cornell University)|Jul 2, 2018

Machine Learning and Data Classification参考文献 5被引用 8

一句话总结

LeapsAndBounds 是一种新颖的近似最优算法配置算法，采用经验伯恩斯坦停止策略，动态分配不同配置和问题实例的运行时间。与结构化拖延相比，它在理论上实现了更紧的最坏情况运行时间界限，同时在实践中显著减少了总执行时间，尤其在支持恢复运行时效果更明显。

ABSTRACT

We consider the problem of configuring general-purpose solvers to run efficiently on problem instances drawn from an unknown distribution. The goal of the configurator is to find a configuration that runs fast on average on most instances, and do so with the least amount of total work. It can run a chosen solver on a random instance until the solver finishes or a timeout is reached. We propose LeapsAndBounds, an algorithm that tests configurations on randomly selected problem instances for longer and longer time. We prove that the capped expected runtime of the configuration returned by LeapsAndBounds is close to the optimal expected runtime, while our algorithm's running time is near-optimal. Our results show that LeapsAndBounds is more efficient than the recent algorithm of Kleinberg et al. (2017), which, to our knowledge, is the only other algorithm configuration method with non-trivial theoretical guarantees. Experimental results on configuring a public SAT solver on a new benchmark dataset also stand witness to the superiority of our method.

研究动机与目标

• 解决从未知分布中抽取的问题实例，寻找近似最优求解器配置的挑战。
• 在确保所返回配置的期望运行时间接近最优的前提下，最小化寻找最佳配置所花费的总时间。
• 为所选配置的质量以及搜索过程的总运行时间提供理论保证。
• 在理论最坏情况界限和实际效率方面，优于现有方法（如结构化拖延）。

提出的方法

• LeapsAndBounds 在随机采样的问题实例上测试配置，逐步增加时间限制，起始基线运行时间为 $ \kappa_0 $。
• 它采用经验伯恩斯坦停止策略，在对估计平均运行时间的置信度足够高时，提前终止运行时间测量。
• 该算法按阶段进行，每阶段将时间预算 $ \theta_k $ 加倍，每个配置在多个实例上测试，直至达到阶段特定的预算。
• 它维护对配置运行时间的置信区间，并利用这些区间提前剔除运行缓慢的配置，同时保留快速配置以进行进一步评估。
• 该方法根据方差估计动态调整每个配置和实例的运行次数，倾向于选择运行时间方差较低的配置。
• 它支持重启和恢复语义，当允许恢复时性能提升明显，因为减少了冗余计算。

实验结果

研究问题

• RQ1 我们能否设计一种算法配置算法，其最坏情况运行时间界限比现有方法更紧，并具备理论保证？
• RQ2 与固定时间或启发式方法相比，采用经验伯恩斯坦停止策略在多大程度上提升了配置搜索的效率？
• RQ3 该算法的性能在多大程度上依赖于不同实例间配置运行时间的方差？
• RQ4 在实际应用中，该算法能否优于结构化拖延，尤其是在非对抗性、现实场景中？
• RQ5 恢复运行与重启运行对总搜索时间的影响如何，以及在实现中如何利用这一差异？

主要发现

• LeapsAndBounds 实现了比结构化拖延更紧的最坏情况运行时间界限，提升了配置搜索的理论效率。
• 在配置 minisat SAT 求解器的实验中，LeapsAndBounds 的总运行时间分别减少至 933.50 个 CPU 天（不支持恢复）和 368.50 个 CPU 天（支持恢复），而结构化拖延分别为 1850.46 和 1169.36 个 CPU 天。
• 由于采用经验伯恩斯坦停止策略实现更早终止，LeapsAndBounds 每个配置的运行时间显著短于结构化拖延，尤其是在后期阶段。
• LeapsAndBounds 返回与结构化拖延相同的最优配置（898），证实了结果质量相当，但搜索过程高效得多。
• 当支持恢复运行时，性能提升最为显著，因为算法通过重用部分结果避免了冗余计算。
• 该方法具有明显的并行性，可在多个处理器上高效分布执行，协调开销极低。