[论文解读] QPack: Quantum Approximate Optimization Algorithms as universal benchmark for quantum computers

Koen Mesman, Zaid Al-Ars+1 more|arXiv (Cornell University)|Mar 31, 2021

Quantum Computing Algorithms and Architecture被引用 16

一句话总结

QPack 通过使用量子近似优化算法（QAOA）在 MaxCut、支配集和旅行商问题上，为噪声中等规模量子（NISQ）计算机引入了一种与硬件无关、面向应用的基准测试，用于评估多个性能维度——问题规模、运行时间和准确性。该基准测试在使用 IBM 运行时环境时展现出显著的性能提升，观察到 24 倍的加速效果，并通过 XACC 库为各种模拟器和硬件提供了通用基准。

ABSTRACT

In this paper, we present QPack, a universal benchmark for Noisy Intermediate-Scale Quantum (NISQ) computers based on Quantum Approximate Optimization Algorithms (QAOA). Unlike other evaluation metrics in the field, this benchmark evaluates not only one, but multiple important aspects of quantum computing hardware: the maximum problem size a quantum computer can solve, the required runtime, as well as the achieved accuracy. The applications MaxCut, dominating set and traveling salesman are included to provide variation in resource requirements. This will allow for a diverse benchmark that promotes optimal design considerations, avoiding hardware implementations for specific applications. We also discuss the design aspects that are taken in consideration for the QPack benchmark, with critical quantum benchmark requirements in mind. An implementation is presented, providing practical metrics. QPack is presented as a hardware agnostic benchmark by making use of the XACC library. We demonstrate the application of the benchmark on various IBM machines, as well as a range of simulators.

研究动机与目标

• 解决 NISQ 时代量子计算机缺乏反映真实世界实用性的实际应用级基准测试的问题，超越低层次门性能的衡量。
• 评估量子硬件在多个关键指标上的表现：最大可解问题规模、所需运行时间以及解决方案的准确性。
• 通过利用 XACC 量子计算库实现与硬件无关的基准测试，提升在不同模拟器和真实设备间的可移植性。
• 建立一个标准化的评估框架，支持未来扩展至其他量子算法，以适应硬件规模的扩展。
• 通过在多样化问题实例上提供一致且可度量的性能指标，实现对量子模拟器和硬件的公平比较。

提出的方法

• 该基准测试以 QAOA 作为核心量子算法，通过经典-量子混合循环执行，其中经典优化算法用于调节 QAOA 参数。
• 通过三种 NP-难优化问题（MaxCut、支配集和旅行商问题）评估性能，以改变资源需求。
• 该基准测试使用 XACC 库实现，支持在 IBM 量子设备和多个模拟器上实现与硬件无关的执行。
• 性能指标包括量子线路深度、总运行时间（量子部分 + 经典部分）以及相对于经典基线的解决方案准确性。
• 引入量子技术成熟度等级（QTRL），根据性能和稳定性对 QAOA 实现的成熟度进行排名。
• 该基准测试支持参数调优，并允许并行执行经典优化器，未来可扩展至 VQE、Shor 算法和 Grover 算法。

实验结果

研究问题

• RQ1 如何设计一种通用基准测试，用于评估 NISQ 量子计算机的实际应用性能，超越低层次门性能指标？
• RQ2 经典优化器的选择和 QAOA 深度在多大程度上影响量子优化中的解决方案准确性与运行时间？
• RQ3 在混合量子-经典工作负载中，使用远程经典后端（如 IBM 的运行时环境）能实现多大的性能提升？
• RQ4 在运行相同 QAOA 基准测试时，不同量子模拟器在不同问题规模下的性能表现如何比较？
• RQ5 在执行基于 QAOA 的优化工作负载时，当前量子硬件和模拟器中的主要性能瓶颈是什么？

主要发现

• 当使用 IBM 的运行时环境并结合远程经典计算机时，观察到 24 倍的加速，显著缩短了端到端执行时间。
• 在较大问题规模（≥13 量子比特）下，QASM 模拟器表现优于其他模拟器；而 qsim 在小规模实例中表现更优，但其运行时间增长更为陡峭。
• 该基准测试成功实现了通过 XACC 库在多个 IBM 量子处理器和模拟器上进行与硬件无关的评估。
• 参数调优仍是主要挑战，本实现中未观察到 β 和 γ 参数的集中趋势，尽管此类方法有望提升训练效率。
• 当前的 QAOA 实现尚未进行资源优化，表明在电路深度和量子比特使用方面仍有改进空间。
• 支持并行经典优化是可行的，随着硬件扩展以支持更大规模问题实例，有望带来显著的加速效果。