[论文解读] Algorithm Portfolio Design: Theory vs. Practice

Carla P. Gomes, Bart Selman|arXiv (Cornell University)|Feb 6, 2013

Constraint Satisfaction and Optimization参考文献 11被引用 6

一句话总结

本文提出并评估了算法组合——即具有不同随机特性的求解器组合——以提升在困难组合搜索问题上的性能。通过利用不同求解器之间运行时间分布的多样性，并采用并行或交错执行方式，该方法在个体求解器基础上实现了显著的加速，尤其当组合经过针对问题分布的调优时效果更为显著。

ABSTRACT

Stochastic algorithms are among the best for solving computationally hard search and reasoning problems. The runtime of such procedures is characterized by a random variable. Different algorithms give rise to different probability distributions. One can take advantage of such differences by combining several algorithms into a portfolio, and running them in parallel or interleaving them on a single processor. We provide a detailed evaluation of the portfolio approach on distributions of hard combinatorial search problems. We show under what conditions the protfolio approach can have a dramatic computational advantage over the best traditional methods.

研究动机与目标

• 研究将多个随机算法组合成一个组合是否能在困难组合搜索问题上超越表现最佳的单个算法。
• 分析算法组合在理论与实际条件下产生显著计算优势的条件。
• 评估组合策略在具有重尾运行时间分布的真实世界与合成问题实例中的有效性。
• 弥合算法组合设计中理论预期与实际性能之间的差距。
• 为组合方法在多样化问题类别中的可扩展性与鲁棒性提供实证证据。

提出的方法

• 通过组合具有不同运行时间特性的多个随机求解器来构建算法组合。
• 通过并行或交错执行组合中的成员，以利用其在解空间搜索路径上的多样性。
• 将求解器运行时间建模为具有重尾分布的随机变量，这在困难组合问题中普遍存在。
• 应用统计分析，比较算法组合在基准问题集上相对于单个求解器的性能表现。
• 根据问题实例分布调优组合构成，以最大化预期加速比。
• 使用解题时间、成功率和预期运行时间减少等指标评估性能。

实验结果

研究问题

• RQ1 在何种条件下，算法组合能显著超越表现最佳的单个求解器？
• RQ2 不同求解器的运行时间分布如何影响组合性能？
• RQ3 求解器多样性与组合构成对整体解题效率有何影响？
• RQ4 关于组合加速的理论预测与真实问题实例上的实证结果是否一致？
• RQ5 组合策略是否能在多样化组合搜索问题中实现一致的加速？

主要发现

• 在困难组合问题上，算法组合相对于表现最佳的单个求解器可实现显著加速——通常达到数个数量级。
• 当求解器表现出重尾运行时间分布且搜索行为高度不同时，性能提升最为显著。
• 组合性能对求解器构成极为敏感；最优组合取决于目标问题的分布。
• 交错执行通常优于纯并行执行，因其具备更好的负载均衡能力并能更早发现快速解。
• 理论预测的组合加速效果在实证中得到验证，证实了该方法的实际可行性。
• 即使组合中仅包含少量多样化求解器，也能带来显著改进，尤其在运行时间呈现重尾分布时。