[論文レビュー] Defining Standard Strategies for Quantum Benchmarks

Mirko Amico, Helena Zhang+5 more|arXiv (Cornell University)|Mar 3, 2023

Quantum Computing Algorithms and Architecture被引用数 10

ひとこと要約

本論文は量子ハードウェアの普遍的なベンチマーク基準を定義し、ベンチマークと診断の区別を行い、Quantum Volume、CLOPS、ミラー回路、およびアプリケーションベンチマークを分析し、最適化およびエラー緩和の報告方法を含めて説明する。

ABSTRACT

As quantum computers grow in size and scope, a question of great importance is how best to benchmark performance. Here we define a set of characteristics that any benchmark should follow -- randomized, well-defined, holistic, device independent -- and make a distinction between benchmarks and diagnostics. We use Quantum Volume (QV) [1] as an example case for clear rules in benchmarking, illustrating the implications for using different success statistics, as in Ref. [2]. We discuss the issue of benchmark optimizations, detail when those optimizations are appropriate, and how they should be reported. Reporting the use of quantum error mitigation techniques is especially critical for interpreting benchmarking results, as their ability to yield highly accurate observables comes with exponential overhead, which is often omitted in performance evaluations. Finally, we use application-oriented and mirror benchmarking techniques to demonstrate some of the highlighted optimization principles, and introduce a scalable mirror quantum volume benchmark. We elucidate the importance of simple optimizations for improving benchmarking results, and note that such omissions can make a critical difference in comparisons. For example, when running mirror randomized benchmarking, we observe a reduction in error per qubit from 2% to 1% on a 26-qubit circuit with the inclusion of dynamic decoupling.

研究の動機と目的

• ランダム化、明確に定義された手続き、全体性、プラットフォーム独立性という一連のベンチマーク公理を提案し、ベンチマークと診断の区別を行う。
• 既存のベンチマーク（Quantum Volume、CLOPS）とミラー回路を用いて基準を例示し、スケーラビリティと適用性を論じる。
• ベンチマークにおける最適化とエラー緩和の報告方法を明確にし、不公平な比較を避ける。
• 提案規則の実務的影響を示すために、アプリケーション指向のベンチマーク手法とミラー型ベンチマークのアプローチを提示する。

提案手法

• ベンチマーク公理を定義する: ランダム化、明確に定義された手続き、全体性の網羅、そしてプラットフォーム独立性。
• 深さと回路ベースの成功基準を含むQuantum Volumeを説明し、統計的合格規則を論じる。
• CLOPSとQV層の1秒あたりのスループットの式を提示する。
• 拡張可能なベンチマークとしてミラー回路を導入し、その構成とトレードオフを説明する。
• アプリケーション指向のベンチマークスイートと、それらがベンチマーク対診断の枠組みにどのように適合するかを論じる。
• 最適化と緩和技術がベンチマーク結果に与える影響を示す実験的な例示を提供する。

実験結果

リサーチクエスチョン

• RQ1 多様な量子ハードウェアプラットフォームに跨る忠実で公正なベンチマークとは何か？
• RQ2 異なるベンチマーク系（QV、CLOPS、ミラー ベンチマーク、アプリケーションスイーツ）は、範囲、スケーラビリティ、ノイズ感度の点でどう比較されるか？
• RQ3 ベンチマークにおいて適切な最適化は何であり、それらのオーバーヘッドはどのように報告すべきか？
• RQ4 エラー緩和および抑制技術はベンチマーク結果と比較可能性にどのように影響するか？

主な発見

• ベンチマークは、プラットフォーム間での公正な比較を可能にするため、ランダム化され、明確に定義され、全体性を持ち、プラットフォーム独立であるべきである。
• ベンチマークと診断の明確な区別は、回路固有のテストからの性能を過度に一般化するのを避けるのに役立つ。
• ミラー回路は、大規模な量子システムのベンチマークに対するスケーラブルで高速な代理となり、特定のエラー感度を浮き彫りにする。
• 最適化技術はベンチマーク結果を改善できるが、そのオーバーヘッドと制限を透明に報告する必要がある。
• エラー緩和は観測品質を劇的に向上させることがあるが、しばしば指数関数的な古典的または量子オーバーヘッドを生み、デバイス間の比較可能性に影響を与える。
• アプリケーション指向のベンチマークは実用的な性能を示すことができるが、回路構造の偏りや潜在的な最適化のため慎重に解釈すべきである。