[论文解读] Global Benchmark Database

Markus Iser, Christoph Jabs|arXiv (Cornell University)|Jan 1, 2024

Machine Learning and Data Classification被引用 3

一句话总结

本文介绍了全局基准数据库（GBD），这是一个可扩展、可扩展的框架，用于在NP难问题领域（如SAT、MaxSAT和PBO）中提供、维护和查询基准实例及其元数据。GBD通过灵活的数据模型、标准化的实例标识、特征提取、上下文映射以及通过API和查询语言实现的程序化访问，支持数据驱动的经验研究，其关键贡献包括自动化特征提取、跨领域实例链接，以及与实际求解器评估的集成。

ABSTRACT

This paper presents Global Benchmark Database (GBD), a comprehensive suite of tools for provisioning and sustainably maintaining benchmark instances and their metadata. The availability of benchmark metadata is essential for many tasks in empirical research, e.g., for the data-driven compilation of benchmarks, the domain-specific analysis of runtime experiments, or the instance-specific selection of solvers. In this paper, we introduce the data model of GBD as well as its interfaces and provide examples of how to interact with them. We also demonstrate the integration of custom data sources and explain how to extend GBD with additional problem domains, instance formats and feature extractors.

研究动机与目标

• 解决经验算法学中NP难问题领域缺乏可持续、集中化和可扩展的基准管理的问题。
• 通过为基准实例提供持久、机器可读的元数据，实现可复现的数据驱动基准选择与分析。
• 支持跨多个问题领域整合多样化的数据源、特征提取器和实例转换方法。
• 通过标准化、可查询的元数据，促进求解器组合、预测模型和领域特定求解器配置的开发与评估。
• 为研究人员和实践者提供一个生产就绪的开源工具链，包含API、Web访问和可扩展性支持。

提出的方法

• GBD采用基于上下文的数据模型，其中每个问题领域（如CNF-SAT）作为一个上下文，由实例标识函数和受支持的文件扩展名定义。
• 它区分一对一和一对多特征，前者自动初始化为默认值，后者随时间累积值。
• 上下文映射支持通过基于归约的转换，在不同问题领域（如SAT到k-独立集）之间链接实例。
• GBD提供一种类似SQL的查询语言，用于根据特征约束过滤实例，支持=、!=、like和算术表达式等操作符。
• 系统通过Python API和命令行接口暴露程序化访问能力，支持集成到Jupyter笔记本和评估流水线中。
• 通过上下文、特征提取器和实例转换器的注册表（字典）实现可扩展性，未来将支持基于配置文件的注册。

实验结果

研究问题

• RQ1 如何在多样化的NP难问题领域中可持续地维护和分发基准实例及其元数据？
• RQ2 什么样的可扩展、可扩展的数据模型能够支持跨领域实例链接和基于特征的分析？
• RQ3 如何通过标准化、可查询的接口暴露基准元数据，以用于求解器评估和预测模型？
• RQ4 在实践中，GBD在多大程度上能够集成自定义数据源、特征提取器和实例转换？
• RQ5 如何扩展GBD以支持新的问题领域、实例格式和自动化特征提取流水线？

主要发现

• GBD提供了超过100,000个基准实例，涵盖cnf、wcnf和opb上下文，且已构建好特征数据库以供分析。
• 该系统成功支持了SAT竞赛中基准的清洗与选择，已在近期的SAT求解器评估中使用。
• GBD已被获奖SAT求解器的作者采用，用于经验评估，证明了其在实际应用中的价值。
• Python API支持无缝集成到数据分析工作流中，查询结果以Pandas DataFrame格式返回，便于后续处理。
• 上下文映射支持通过已知归约，系统性地链接不同问题领域中的实例，如从SAT到k-独立集。
• 该框架通过标准化、持久的元数据，实现了求解器组合和预测模型的自动化、可复现分析。