[论文解读] ASlib: A Benchmark Library for Algorithm Selection

Bernd Bischl, Pascal Kerschke+9 more|arXiv (Cornell University)|Jun 8, 2015

Machine Learning and Data Classification参考文献 72被引用 4

一句话总结

本文提出了 ASlib，一个用于算法选择的标准化基准库，为人工智能领域内多样化的算法选择场景提供统一的格式和存储库。通过提供预先收集的性能数据和共享的评估平台，ASlib 降低了计算开销，并实现了对基于机器学习的算法选择方法的公平、可复现比较，展示了在六个领域共17个场景中，通过机器学习方法进行算法选择可实现显著的性能提升。

ABSTRACT

The task of algorithm selection involves choosing an algorithm from a set of algorithms on a per-instance basis in order to exploit the varying performance of algorithms over a set of instances. The algorithm selection problem is attracting increasing attention from researchers and practitioners in AI. Years of fruitful applications in a number of domains have resulted in a large amount of data, but the community lacks a standard format or repository for this data. This situation makes it difficult to share and compare different approaches effectively, as is done in other, more established fields. It also unnecessarily hinders new researchers who want to work in this area. To address this problem, we introduce a standardized format for representing algorithm selection scenarios and a repository that contains a growing number of data sets from the literature. Our format has been designed to be able to express a wide variety of different scenarios. Demonstrating the breadth and power of our platform, we describe a set of example experiments that build and evaluate algorithm selection models through a common interface. The results display the potential of algorithm selection to achieve significant performance improvements across a broad range of problems and algorithms.

研究动机与目标

• 为解决算法选择研究中缺乏标准化数据格式和共享存储库的问题，以促进可复现性和可比性。
• 通过提供预先收集的性能数据和统一的接口，降低新研究者参与的门槛，便于评估算法选择器。
• 通过持续积累标准化、可重用的场景，实现跨领域的算法选择技术评估。
• 通过无需固定提交截止日期或硬件限制的持续评估机制，支持对算法选择系统进行持续、动态的评估。
• 通过定期更新新场景和标准化的交叉验证划分，降低过拟合风险。

提出的方法

• 本文提出了一种用于表示算法选择场景的标准化数据格式，包括问题实例上求解器的性能、特征和元数据。
• 提出了 ASlib，一个公开的在线存储库（aslib.net），托管来自六个领域的17个算法选择场景，涵盖 SAT、CSP 和规划等。
• 每个场景均包含预先计算的性能数据、交叉验证划分，以及问题实例和算法的特征。
• 该平台支持自动化探索性数据分析，并允许研究人员提交结果和源代码以供验证。
• 通过多种评估指标（例如，平均求解实例数、PAR10、MCP）评估性能，以衡量鲁棒性与权衡。
• 系统支持实时更新和持续评估，能够反映无需固定截止日期的最新技术水平。

实验结果

研究问题

• RQ1 标准化基准库能否提升算法选择研究中的可复现性和可比性？
• RQ2 在多样化的真实世界场景中，基于机器学习的算法选择器性能与独立求解器相比如何？
• RQ3 预先收集的性能数据在多大程度上能降低评估算法选择方法的计算负担？
• RQ4 持续、动态的评估平台在多大程度上有助于检测和防止算法选择系统中的过拟合？
• RQ5 基准测试算法选择系统面临的主要挑战是什么？如何通过共享基础设施加以解决？

主要发现

• ASlib 的标准化格式和存储库使研究人员无需运行求解器即可评估算法选择方法，显著降低了计算成本。
• 该平台支持动态、持续评估，无固定截止日期，使最新系统和结果能够实时集成。
• 使用多种指标（如 PAR10、MCP）的性能评估揭示了权衡关系，例如算法调度可提升求解实例数，但会增加误分类惩罚。
• 研究表明，算法选择可实现接近最优（oracle）的性能：当为每个实例选择最佳求解器时，可求解 92% 的 SAT 实例，而最佳独立求解器仅能求解 77%。
• 算法选择的 ICON 挑战赛证实了 zilla 等先进系统的效果，尽管存在资源限制，其在多个指标上仍优于其他系统。
• 涵盖六个领域共17个多样化场景，确保算法选择方法在多样且真实的条件下接受测试，从而增强其泛化能力。