[论文解读] Defining Standard Strategies for Quantum Benchmarks

Mirko Amico, Helena Zhang+5 more|arXiv (Cornell University)|Mar 3, 2023

Quantum Computing Algorithms and Architecture被引用 10

一句话总结

本文为量子硬件定义通用基准标准，区分基准与诊断，并分析 Quantum Volume、CLOPS、镜像电路以及应用基准，并讨论应如何报告优化与误差缓解。

ABSTRACT

As quantum computers grow in size and scope, a question of great importance is how best to benchmark performance. Here we define a set of characteristics that any benchmark should follow -- randomized, well-defined, holistic, device independent -- and make a distinction between benchmarks and diagnostics. We use Quantum Volume (QV) [1] as an example case for clear rules in benchmarking, illustrating the implications for using different success statistics, as in Ref. [2]. We discuss the issue of benchmark optimizations, detail when those optimizations are appropriate, and how they should be reported. Reporting the use of quantum error mitigation techniques is especially critical for interpreting benchmarking results, as their ability to yield highly accurate observables comes with exponential overhead, which is often omitted in performance evaluations. Finally, we use application-oriented and mirror benchmarking techniques to demonstrate some of the highlighted optimization principles, and introduce a scalable mirror quantum volume benchmark. We elucidate the importance of simple optimizations for improving benchmarking results, and note that such omissions can make a critical difference in comparisons. For example, when running mirror randomized benchmarking, we observe a reduction in error per qubit from 2% to 1% on a 26-qubit circuit with the inclusion of dynamic decoupling.

研究动机与目标

• 提出一组基准公设（随机化、定义清晰、全局性、平台无关），并将基准与诊断区分开。
• 结合现有基准（Quantum Volume、CLOPS）和镜像电路来说明标准，以讨论可扩展性和适用性。
• 澄清基准测试中应如何报告优化和误差缓解，以避免不公平比较。
• 展示面向应用的基准测试与镜像基准方法，以展示所提出规则的实际影响。

提出的方法

• 定义基准公设：随机化、流程定义清晰、全局覆盖和平台无关。
• 解释 Quantum Volume 的深度和线路基准的成功标准，并讨论统计通过规则。
• 呈现 CLOPS 及其每秒 QV 层吞吐量的公式。
• 介绍镜像电路作为可扩展的基准，并描述其构造与权衡。
• 讨论面向应用的基准套件以及它们如何适应基准与诊断框架。
• 提供实验示例，展示优化与缓解技术对基准结果的影响。

实验结果

研究问题

• RQ1 在多样化量子硬件平台上，什么构成一个真实、公平的基准？
• RQ2 不同基准族（QV、CLOPS、镜像基准、应用套件）在范围、可扩展性和噪声敏感性方面的比较如何？
• RQ3 基准测试中哪些优化是合适的，以及应如何报告它们的开销？
• RQ4 误差缓解与抑制技术如何影响基准结果与可比性？

主要发现

• 基准应是随机化、定义清晰、全局覆盖且平台无关，以实现跨平台的公平比较。
• 基准与诊断之间的明确区分有助于避免将电路特定测试的性能泛化。
• 镜像电路为对大规模量子系统进行基准测试提供可扩展、快速的代理，同时突出某些误差敏感性。
• 优化技术可以改善基准结果，但必须以透明方式报告其开销和局限性。
• 误差缓解可以显著提高观测质量，但通常会带来指数级的经典或量子开销，影响设备之间的可比性。
• 面向应用的基准可以说明实际性能，但由于电路结构偏差和潜在的优化，应谨慎解读。