[论文解读] Constraint solvers: An empirical evaluation of design decisions

Lars Kotthoff|arXiv (Cornell University)|Jan 31, 2010

Constraint Satisfaction and Optimization参考文献 11被引用 8

一句话总结

本文通过使用相同模型对四种开源约束求解器（Choco、ECLiPSe、Gecode 和 Minion）中的设计决策进行实证评估，涵盖了五类问题（八皇后问题、戈洛姆尺、魔方阵、社交高爾夫球、平衡不完全区组设计）。主要发现是：针对特定变量类型和约束的专用实现显著提升了性能，而通用设计选择（如内存管理）的影响则因问题规模和结构而异。

ABSTRACT

This paper presents an evaluation of the design decisions made in four state-of-the-art constraint solvers; Choco, ECLiPSe, Gecode, and Minion. To assess the impact of design decisions, instances of the five problem classes n-Queens, Golomb Ruler, Magic Square, Social Golfers, and Balanced Incomplete Block Design are modelled and solved with each solver. The results of the experiments are not meant to give an indication of the performance of a solver, but rather investigate what influence the choice of algorithms and data structures has. The analysis of the impact of the design decisions focuses on the different ways of memory management, behaviour with increasing problem size, and specialised algorithms for specific types of variables. It also briefly considers other, less significant decisions.

研究动机与目标

• 评估约束求解器中不同设计决策在多种问题类型下的性能影响。
• 隔离特定实现选择（如内存管理、约束传播和数据结构）对求解器效率的影响。
• 通过使用相同的问题模型比较求解器，确保对设计层面差异的公平评估，而非建模偏差。
• 确定某些算法或架构选择是否在多个问题类别中持续带来性能优势。
• 为求解器开发者和用户提供指导，使其能够根据问题特征和实现权衡选择或调优求解器。

提出的方法

• 选取了四种活跃开发的开源约束求解器：Choco（Java）、ECLiPSe（C/Prolog）、Gecode（C++）和 Minion（C++）。
• 使用相同模型对五类标准约束问题（八皇后问题、戈洛姆尺、魔方阵、社交高爾夫球和平衡不完全区组设计）进行建模，适用于所有求解器。
• 在不同问题规模下执行实验，以评估可扩展性和性能差异。
• 测量 CPU 时间，并分析内存管理、传播器排序和约束实现策略等设计决策的影响。
• 通过反转传播器队列和采用替代约束公式，测试对实现细节的敏感性。
• 避免对求解器进行特定调优，以确保比较反映的是内在设计差异，而非模型优化。

实验结果

研究问题

• RQ1 不同的内存管理策略（如回溯内存）在不同问题规模下如何影响求解器性能？
• RQ2 与通用实现相比，特定约束（如 alldifferent、sum）的专用实现能在多大程度上提升性能？
• RQ3 传播器排序和约束表示方式的选择如何影响求解时间？
• RQ4 当模型保持相同时，求解器特有的建模范式（如输入文件 vs. 库函数建模）对性能有何影响？
• RQ5 在处理目标函数时，特定优化策略（如边界调整 vs. 约束施加）是否具有稳定的性能优势？

主要发现

• 针对特定变量类型的约束和传播器的专用实现显著提升了性能，在各类问题中均表现出可测量且一致的性能增益。
• 内存管理策略对 CPU 时间有显著影响，但其有效性取决于问题规模和结构，不存在一种普遍最优的策略。
• 反转传播器队列对总 CPU 时间影响极小，最大差异仅为总时间的小部分，表明对这种排序选择具有鲁棒性。
• Minion 缺少原生的 sum-equals 约束并未影响性能；相反，结合使用 sum-greater-or-equal 和 sum-less-or-equal 约束反而更高效，表明非直观的实现可能优于直观实现。
• 不同的优化策略（如 ECLiPSe 中的边界调整与 Gecode 中的约束施加）未表现出内在性能优势，表明优化策略的选择取决于具体上下文。
• 求解器之间观察到的显著性能差异主要源于实现层面的设计决策，而非算法上的优越性，强调了针对特定问题选择合适求解器的重要性。