[论文解读] MQT Bench: Benchmarking Software and Design Automation Tools for Quantum Computing

Nils Quetschlich, Lukas Burgholzer+1 more|arXiv (Cornell University)|Apr 28, 2022

Quantum Computing Algorithms and Architecture被引用 5

一句话总结

本论文提出了 MQT Bench，一个全面的量子软件工具基准测试套件，支持从算法级到硬件映射电路的四个抽象层级，实现跨层级评估。该套件涵盖超过 70,000 个基准电路，覆盖多种编译器、门集和设备，可通过网页界面和 Python 包访问，显著提升了量子工具评估的可比性、可复现性和透明度。

ABSTRACT

Quantum software tools for a wide variety of design tasks on and across different levels of abstraction are crucial in order to eventually realize useful quantum applications. This requires practical and relevant benchmarks for new software tools to be empirically evaluated and compared to the current state of the art. Although benchmarks for specific design tasks are commonly available, the demand for an overarching cross-level benchmark suite has not yet been fully met and there is no mutual consolidation in how quantum software tools are evaluated thus far. In this work, we propose the MQT Bench benchmark suite (as part of the Munich Quantum Toolkit, MQT) based on four core traits: (1) cross-level support for different abstraction levels, (2) accessibility via an easy-to-use web interface (https://www.cda.cit.tum.de/mqtbench) and a Python package, (3) provision of a broad selection of benchmarks to facilitate generalizability, as well as (4) extendability to future algorithms, gate-sets, and hardware architectures. By comprising more than 70,000 benchmark circuits ranging from 2 to 130 qubits on four abstraction levels, MQT Bench presents a first step towards benchmarking different abstraction levels with a single benchmark suite to increase comparability, reproducibility, and transparency.

研究动机与目标

• 解决在不同抽象层级上评估量子软件工具时缺乏标准化、跨层级基准的问题。
• 提升量子设计自动化工具实证评估中的可比性、可复现性和透明度。
• 提供一个可扩展且可扩展的基准测试套件，支持不断演进的量子架构、门集和算法。
• 通过可访问的接口（包括网页门户和 Python 包）实现基准测试的实用化部署，支持按需生成基准。
• 将分散的基准测试实践整合为一个统一的框架，覆盖整个量子软件栈。

提出的方法

• 设计一个包含四个抽象层级的基准测试套件：算法级、分解级、映射级和原生门级电路。
• 从多种量子算法（包括 QFT、Grover 算法及其他构建模块）生成基准电路，覆盖多个编译器（Qiskit、TKET）。
• 支持多种原生机载门集和目标设备（从 8 到 130 量子比特），并通过设备特定的映射确保硬件相关性。
• 实现网页界面和 Python 包，以支持基准的便捷访问、过滤和按需生成。
• 通过结构化基准测试流水线确保可扩展性，支持新算法、门集和硬件架构的集成。
• 预先生成并存储基准以减少实时计算开销，同时保持动态检索的灵活性。

实验结果

研究问题

• RQ1 如何通过单一基准测试套件实现在量子电路设计中多个抽象层级的有意义评估？
• RQ2 与现有孤立的基准测试套件相比，MQT Bench 在多大程度上提升了量子软件工具评估的可比性和可复现性？
• RQ3 所生成的基准电路的关键特征是什么？它们如何反映真实世界的量子算法工作负载？
• RQ4 MQT Bench 框架在面向未来量子硬件和软件发展时，其可扩展性和可扩展性如何？
• RQ5 编译器选择（例如 Qiskit 与 TKET）对基准生成时间及不同量子比特数量分布的影响是什么？

主要发现

• MQT Bench 提供了超过 70,000 个基准电路，覆盖 2 至 130 量子比特的四个抽象层级，支持对量子软件工具的全面评估。
• 由于硬件可用性和生成时间限制，随着量子比特数量的增加，基准的相对频率呈下降趋势。
• TKET 编译器生成基准所需时间长于 Qiskit，导致生成的基准数量更少，尤其在依赖目标的映射层级上更为明显。
• 映射层级基准的设备分布反映了硬件可用性，大尺寸设备（如 127 量子比特）获得了更多的基准。
• 该套件包含六个关键电路特征——程序通信、关键路径深度、纠缠比、活跃度、并行度和多量子比特门占比——支持详细的性能分析。
• 网页界面和 Python 包实现了基准的高效按需访问与过滤，显著提升了可用性和采用潜力。