[论文解读] LIBOPT - An environment for testing solvers on heterogeneous collections of problems - Version 1.0

Jean Charles Gilbert, Xavier Jonsson|ArXiv.org|Mar 6, 2007

Numerical Methods and Algorithms参考文献 5被引用 15

一句话总结

LIBOPT 是一个灵活且可扩展的测试环境，通过使用一致的 Unix/Linux 命令，统一了异构问题集合（如 CUTEr 和 Modulopt）中优化求解器的执行、比较和性能分析。它通过 Perl 脚本和可定制的 makefile 实现了无缝的求解器-集合集成，主要贡献包括可移植的模块化架构和标准化的科学计算基准测试工作流。

ABSTRACT

The Libopt environment is both a methodology and a set of tools that can be used for testing, comparing, and profiling solvers on problems belonging to various collections. These collections can be heterogeneous in the sense that their problems can have common features that differ from one collection to the other. Libopt brings a unified view on this composite world by offering, for example, the possibility to run any solver on any problem compatible with it, using the same Unix/Linux command. The environment also provides tools for comparing the results obtained by solvers on a specified set of problems. Most of the scripts going with the Libopt environment have been written in Perl.

研究动机与目标

• 解决在格式和功能各不相同的异构问题集合之间进行优化求解器基准测试和性能分析的挑战。
• 提供一个统一且可扩展的环境，抽象化不同求解器和问题集合之间的复杂接口。
• 在无需格式转换或底层编程的情况下，实现对标准化问题集上求解器性能的统一、可重复评估与比较。
• 通过标准化的配置和脚本，支持用户以最小配置开销集成新求解器和问题集合。
• 通过设计模块化、平台无关的框架，将该方法推广至优化以外的其他科学计算领域。

提出的方法

• 该环境采用分层架构，抽象问题和求解器接口，使任何兼容的求解器均可通过单一命令行接口在任何问题上运行。
• 它依赖一组领域特定的 Perl 脚本，自动化求解器执行、结果收集和多个问题集之间的结果比较。
• 标准化的目录结构组织求解器和集合，配置文件（例如 all.lst、default.lst）定义了问题的可用性和求解器兼容性。
• 系统使用自定义 makefile 将求解器二进制文件与特定问题的对象文件链接，通过归档文件（例如 prob.a）在运行时动态加载问题数据。
• 主程序（例如 baby_toys_main.f90）是求解器特定的，负责处理问题数据接口，同时提供模板以供复用。
• 模块化设计允许通过定义求解器特定的脚本和配置文件，以最小改动添加新求解器和集合。

实验结果

研究问题

• RQ1 如何设计一个统一的测试环境，以支持格式和特性各异的多样化异构问题集合？
• RQ2 哪些架构模式能够实现在多个求解器-集合对之间一致的求解器执行和结果比较，而无需针对每种格式重新实现？
• RQ3 如何使环境能够以最小的配置开销扩展以支持新求解器和问题集合？
• RQ4 哪些机制能够确保在将新求解器和集合集成到共享基准测试框架时具备可移植性和可维护性？
• RQ5 该框架在多大程度上可以推广至优化以外的其他科学计算领域？

主要发现

• LIBOPT 仅需一条统一的 Unix/Linux 命令，即可在任何支持集合中的问题上运行任意兼容求解器，显著简化了基准测试工作流。
• 该环境支持集成异构集合（如 CUTEr 和 Modulopt），即使它们在问题编码和结构上存在差异，也能通过接口抽象实现统一管理。
• 使用 Perl 脚本和标准化配置文件（如 all.lst、default.lst）可实现多个求解器运行结果的一致性收集与比较。
• 模块化 makefile 系统支持将求解器二进制文件与特定问题的对象文件动态链接，从而实现高效且隔离的每问题执行。
• 该框架具有可扩展性：通过创建求解器特定的脚本和配置文件，可轻松添加新求解器和集合，对核心系统影响极小。
• 该环境支持详细模式（-v 标志）和测试模式（-t 标志），允许用户在执行前检查和验证命令序列。