[论文解读] SupermarQ: A Scalable Quantum Benchmark Suite

Teague Tomesh, Pranav Gokhale+8 more|arXiv (Cornell University)|Feb 22, 2022

Quantum Computing Algorithms and Architecture被引用 10

一句话总结

SupermarQ 引入了一套可扩展的、与硬件无关的量子基准测试套件，采用应用级指标来评估各类工作负载下的量子系统。它利用特征向量量化应用覆盖范围，并在真实 NISQ 设备（IBM、IonQ、AQT）上实现端到端性能评估，证明了系统性基准测试对于量子计算中可靠跨平台比较至关重要。

ABSTRACT

The emergence of quantum computers as a new computational paradigm has been accompanied by speculation concerning the scope and timeline of their anticipated revolutionary changes. While quantum computing is still in its infancy, the variety of different architectures used to implement quantum computations make it difficult to reliably measure and compare performance. This problem motivates our introduction of SupermarQ, a scalable, hardware-agnostic quantum benchmark suite which uses application-level metrics to measure performance. SupermarQ is the first attempt to systematically apply techniques from classical benchmarking methodology to the quantum domain. We define a set of feature vectors to quantify coverage, select applications from a variety of domains to ensure the suite is representative of real workloads, and collect benchmark results from the IBM, IonQ, and AQT@LBNL platforms. Looking forward, we envision that quantum benchmarking will encompass a large cross-community effort built on open source, constantly evolving benchmark suites. We introduce SupermarQ as an important step in this direction.

研究动机与目标

• 解决新兴量子架构缺乏标准化、全面基准测试的问题。
• 开发一套可扩展的基准测试套件，真实反映多样化应用领域中的实际量子工作负载。
• 通过整合硬件与软件特性，实现端到端性能评估。
• 通过同时支持 NISQ 和容错计算范式，确保在量子硬件持续演进过程中的相关性。
• 为开放、社区驱动的量子基准测试生态系统奠定基础。

提出的方法

• 定义一组与硬件无关的特征向量（如线路连通性、并行性、两量子比特门比例等），以量化应用的资源需求和覆盖范围。
• 从多样化领域（如量子化学、优化、机器学习）中选取代表性量子应用，确保广泛的工作负载覆盖。
• 在真实量子硬件平台（IBM、IonQ、AQT@LBNL）上评估基准测试套件，并使用线路模拟提升可访问性与可复现性。
• 集成噪声感知编译技术与系统级指标，真实反映在 NISQ 约束下的性能表现。
• 在设计基准测试套件时考虑可扩展性，以适应未来硬件进步与软件优化。
• 以 Apache 2.0 许可证发布完整成果，包含 Jupyter 笔记本、Python 代码和模拟结果，支持可复现性与社区扩展。

实验结果

研究问题

• RQ1 如何设计一套可扩展且能真实反映多样化应用领域中实际量子工作负载的量子基准测试套件？
• RQ2 哪组与硬件无关的特征最能捕捉量子应用的资源需求与覆盖范围？
• RQ3 端到端性能（结合硬件与软件）在超导与离子阱等不同量子平台之间如何变化？
• RQ4 当真实硬件访问受限时，线路模拟在多大程度上能准确反映真实硬件执行的表现？
• RQ5 基准测试套件如何演进以在从 NISQ 到容错量子计算的过渡过程中保持相关性？

主要发现

• SupermarQ 成功利用一组 12 个特征向量捕捉了多样化的量子工作负载，这些向量反映了应用级资源需求，如纠缠门数量和线路深度。
• 该基准测试套件实现了对 IBM、IonQ 和 AQT@LBNL 系统的有意义跨平台比较，揭示了性能差异与硬件原生门集及错误特性之间的关联。
• 在成果中，随着噪声水平增加的线路模拟准确反映了基准分数的预期退化，验证了基于模拟的评估方法的有效性。
• 该套件表明，应用级指标比量子体积或 Q-score 等单一数值指标能提供更准确、更全面的性能洞察。
• 该成果已通过 Zenodo 以 DOI 10.5281/zenodo.5786391 发布，支持完全可复现性，并通过开源代码和基于 Jupyter 的工作流支持社区扩展。
• 本研究为一个社区驱动、持续演进的基准测试生态系统奠定了基础，能够随量子硬件与软件的进步而同步演进。