[论文解读] Benchmarking Optimization Software with Performance Profiles

Elizabeth D. Dolan, Jorge J. Morè|ArXiv.org|Feb 1, 2001

Software System Performance and Reliability参考文献 10被引用 9

一句话总结

本文引入性能轮廓（performance profiles）——一种使用性能比值（如求解器运行时间相对于最优时间）的累积分布函数（CDF）的统计工具，用于基准测试和比较优化软件。该方法克服了传统指标（如平均值、排名或四分位数）的局限性，通过可视化展示求解器在测试集中的可靠性和效率，无需设定任意阈值或丢弃数据，从而实现对多个求解器的清晰、稳健且可解释的比较。

ABSTRACT

We propose performance profiles-distribution functions for a performance metric-as a tool for benchmarking and comparing optimization software. We show that performance profiles combine the best features of other tools for performance evaluation.

研究动机与目标

• 解决传统基准测试方法（如平均值、排名或四分位数）的局限性，这些方法可能受异常值影响或丢失改进幅度的信息。
• 为在多样化测试问题集上比较多个优化求解器的性能，提供一种标准化、可视化且统计上可靠的比较方法。
• 消除对人为选择（如失败运行的惩罚值或‘竞争力’的固定阈值）的需求。
• 实现对求解器性能趋势的清晰解读，特别是在包含大量求解器和问题的大规模基准测试中。
• 证明该方法不仅适用于作者自身的测试集，还可推广至现实世界数据，包括 Hans Mittlemann 的基准测试数据。

提出的方法

• 性能轮廓被定义为性能比值的累积分布函数（CDF），其中性能比值为每个问题中该求解器运行时间与所有求解器中最佳时间的比值。
• 该方法以时间比值为主要性能指标，但也可扩展至其他指标（如函数评估次数或迭代次数）。
• 未能收敛的求解器被视为失败，并从比值计算中排除，从而在不赋予任意惩罚值的情况下保持数据完整性。
• 轮廓图在对数坐标系上绘制，y轴表示在给定性能比值内求解的问题比例，x轴表示比值阈值。
• 该方法允许多个求解器在一张图上直接比较，每个求解器以一条曲线表示其在不同性能比值下的累积成功率。
• 提供一个 Perl 脚本（perf.pl），用于自动化生成性能轮廓图，输入数据需符合 MATLAB 格式。

实验结果

研究问题

• RQ1 如何在大规模且多样化的问题测试集中公平比较多个优化求解器的性能？
• RQ2 传统基准测试方法（如平均性能、排名或四分位数分析）在捕捉求解器行为方面存在哪些局限性？
• RQ3 是否可以设计一种单一的可视化工具，整合现有方法的优势，同时消除其弱点（如对异常值敏感或依赖任意阈值）？
• RQ4 如何处理求解器失败的问题，以避免引入偏差或主观的惩罚值？
• RQ5 性能轮廓在多大程度上可推广至不同类型优化软件和真实世界基准测试数据？

主要发现

• 性能轮廓能有效消除少数困难问题对整体性能评估的影响，防止其扭曲结果。
• 与依赖排名或四分位数的方法不同，该方法保留了性能改进幅度的详细信息。
• 性能轮廓提供了求解器可靠性的清晰视觉表示，其曲线显示了在给定性能比值内求解的问题比例。
• 成功求解所有问题的求解器在图中可直观识别，其曲线在 y 轴上达到 1.0；而存在失败的求解器则不会平顶。
• 该方法具有鲁棒性和可推广性，已在 Hans Mittlemann 的线性规划基准数据集上成功应用于七种不同求解器。
• 该方法避免了人为参数选择（如定义‘竞争力’性能），同时仍能实现多个求解器之间的有意义比较。