[论文解读] Application-Oriented Performance Benchmarks for Quantum Computing

Thomas Lubinski, Sonika Johri+7 more|arXiv (Cornell University)|Oct 7, 2021

Quantum Computing Algorithms and Architecture被引用 15

一句话总结

本文提出了一种开源的、面向应用的量子计算基准测试套件，通过测量结果保真度和执行时间随电路宽度和深度的变化，评估真实世界算法中的硬件性能。采用体积基准测试方法，该套件提供实用的端到端性能指标，可预测近期硬件进展，相较于仅依赖量子体积，能更准确地预测应用成功可能性。

ABSTRACT

In this work we introduce an open source suite of quantum application-oriented performance benchmarks that is designed to measure the effectiveness of quantum computing hardware at executing quantum applications. These benchmarks probe a quantum computer's performance on various algorithms and small applications as the problem size is varied, by mapping out the fidelity of the results as a function of circuit width and depth using the framework of volumetric benchmarking. In addition to estimating the fidelity of results generated by quantum execution, the suite is designed to benchmark certain aspects of the execution pipeline in order to provide end-users with a practical measure of both the quality of and the time to solution. Our methodology is constructed to anticipate advances in quantum computing hardware that are likely to emerge in the next five years. This benchmarking suite is designed to be readily accessible to a broad audience of users and provides benchmarks that correspond to many well-known quantum computing algorithms.

研究动机与目标

• 为解决现有组件级指标（如随机化基准测试）无法捕捉噪声中等规模量子（NISQ）设备上真实应用性能预测的差距，填补该空白。
• 开发一种反映端到端性能的实用基准测试套件，涵盖结果质量（保真度）和求解时间，适用于多种量子算法。
• 设计可预见近期硬件进步（如中途测量、参数化电路、原生多控制门）的基准测试。
• 提供一种标准化、可访问且可扩展的框架，供广泛用户群体评估量子硬件性能。
• 通过将低层级硬件指标与高层级应用结果关联，实现对量子优势更准确的预测。

提出的方法

• 该基准测试套件将量子应用映射为参数化电路，通过调节宽度（量子比特数量）和深度（电路深度）来评估不同问题规模下的性能表现。
• 采用体积基准测试方法，将电路置于保真度-宽度-深度三维空间中，以量子体积的启发式外推作为背景参考。
• 电路保真度通过多次执行的平均结果保真度来量化，作为结果质量的主要指标。
• 该套件测量量子执行时间、电路创建时间、启动时间与队列等待时间，以估算总求解时间，特别关注迭代式工作负载。
• 实现规则标准化了电路构建与编译过程，尤其针对 Toffoli 门等复杂门和参数化电路，以确保可复现性。
• 该框架设计为可随硬件演进，支持未来功能（如原生多控制门和紧密的类经典-量子集成）。

实验结果

研究问题

• RQ1 现有硬件性能指标（如量子体积）在多大程度上能准确预测不同问题规模下真实量子应用的保真度？
• RQ2 与组件级基准测试相比，面向应用的基准测试在预测求解时间方面能提升多少？
• RQ3 编译器优化与电路编译对基准电路的保真度和深度有何影响，特别是在 Toffoli 等复杂门上？
• RQ4 从新兴硬件特性（如中途测量和参数化电路）中可预期获得多大的性能提升？
• RQ5 如何扩展基准测试框架以测量紧密集成的类经典-量子执行流水线，并减少求解时间？

主要发现

• 该基准测试套件表明，仅靠量子体积无法准确预测应用保真度，尤其在 Grover 搜索和变分量子本征求解器等算法中，性能与体积预测存在显著偏差。
• 对于高深度和高宽度的电路（如使用 n-量子比特 Toffoli 门的电路），即使量子体积指标较高，经编译后的深度仍会迅速增加，导致保真度下降。
• 执行时间测量显示，总求解时间可能主要由经典处理和队列等待时间主导，凸显了软硬件一体化优化的必要性。
• 编译器优化显著降低了电路深度并提升了保真度，尤其在参数化和基于 Oracle 的电路中表现明显，证明其对实际性能的重要影响。
• 该套件发现，当前基准测试尚未充分利用 Qiskit Runtime 等运行时环境，表明未来需增强以准确衡量云优化执行下的端到端性能。
• 硬件特性（如中途测量和原生多控制门）有望提升性能，而本基准测试套件已设计为可在这些功能可用时量化其性能增益。