[论文解读] Benchmarking a quantum annealing processor with the time-to-target metric

James King, Sheir Yarkoni+3 more|arXiv (Cornell University)|Aug 20, 2015

Quantum Computing Algorithms and Architecture参考文献 31被引用 82

一句话总结

本文引入时间到目标（TTT）度量标准，通过在固定时间窗口内挑战经典求解器以匹配量子退火处理器的性能，来基准化量子退火器，避免指数级缩放问题和模拟噪声依赖性。D-Wave 2X 系统在某些问题类别上，特别是在受挫环（FL3）实例中，相较于单线程经典求解器表现出高达 600 倍的性能优势，展示了在 TTT 退火度量下的强劲相对性能。

ABSTRACT

In the evaluation of quantum annealers, metrics based on ground state success rates have two major drawbacks. First, evaluation requires computation time for both quantum and classical processors that grows exponentially with problem size. This makes evaluation itself computationally prohibitive. Second, results are heavily dependent on the effects of analog noise on the quantum processors, which is an engineering issue that complicates the study of the underlying quantum annealing algorithm. We introduce a novel "time-to-target" metric which avoids these two issues by challenging software solvers to match the results obtained by a quantum annealer in a short amount of time. We evaluate D-Wave's latest quantum annealer, the D-Wave 2X system, on an array of problem classes and find that it performs well on several input classes relative to state of the art software solvers running single-threaded on a CPU.

研究动机与目标

• 为解决传统度量标准（如时间到解 TTS 和样本到解 STS）所面临的指数级计算时间问题以及量子退火器对模拟噪声的敏感性。
• 开发一种性能基准测试方法，将算法性能与硬件噪声隔离，并避免难以计算基态的问题。
• 使用时间受限且可复现的度量标准，评估 D-Wave 2X 量子退火器相对于最先进经典软件求解器的性能。
• 识别出 D-Wave 2X 相较于单线程经典求解器在哪些问题类别中展现出显著性能优势。

提出的方法

• 提出时间到目标（TTT）度量标准，衡量经典求解器在固定时间窗口内达到与量子退火器相同解质量所需的时间。
• 使用固定时间窗口（例如 100 ms、1 s）来挑战经典求解器，使其在该时间内匹配 D-Wave 2X 所找到的最佳解。
• 测量 TTT_anneal（排除编程开销的时间到目标）和 TTT_total（包含编程时间）以评估端到端性能。
• 在多个问题类别上进行评估：随机伊辛模型（RAN）、受挫环（FL3）及其他类别，每种大小和分位数使用 100 个随机实例。
• 将 D-Wave 2X 与一系列经典求解器进行比较，包括模拟退火（SA）、Hamze-de Freitas-Selby（HFS）求解器以及位并行求解器，覆盖从 q = 0.001 到 0.1 的不同精度水平。
• 使用 100 个输入的中位数性能及 95% 置信区间，以确保统计稳健性。

实验结果

研究问题

• RQ1 时间受限的基准测试度量标准是否能够避免基于基态的度量标准（如 TTS 和 STS）固有的指数级缩放和噪声敏感性问题？
• RQ2 在 TTT 度量标准下，D-Wave 2X 在哪些问题类别中对单线程经典求解器展现出可测量的性能优势？
• RQ3 D-Wave 2X 的相对性能如何随精度（q）和问题规模在不同输入类别中的变化而变化？
• RQ4 编程时间在总时间到目标中占据多大比例，这对量子处理器性能优势的感知有何影响？
• RQ5 即使经过最优参数调优，经典求解器是否仍能匹配 D-Wave 2X 在 TTT 框架下的性能，还是必须依赖多核并行或 GPU 加速？

主要发现

• 在最大问题规模下，D-Wave 2X 在 TTT_anneal 度量标准下对 FL3 问题类别中的所有单线程经典求解器表现出高达 600 倍的性能优势。
• 对于 TTT_anneal，D-Wave 2X 的相对性能在 q = 0.1 时达到峰值；对于 TTT_total，则在 q = 0.01 时达到峰值，表明采样与求解器收敛之间存在最佳平衡点。
• 在 TTT_total 中，编程时间主导了总时间，尤其是在大问题规模下，这降低了端到端性能中的量子优势。
• 在 RANr 问题上，模拟退火（SA）的性能随精度（q）增加而下降，表明高精度实例对经典求解器更具挑战性。
• 在高精度 RANr 实例上，Hamze-de Freitas-Selby（HFS）求解器仍是表现最强劲的经典竞争对手，优于 SA。
• 本研究表明，在 TTT 度量标准下匹配 D-Wave 2X 的性能可能需要多核或 GPU 加速的经典求解器，因为单线程性能已被超越。