[論文レビュー] Scalable Benchmarks for Gate-Based Quantum Computers

Arjan Cornelissen, Johannes Bausch+1 more|arXiv (Cornell University)|Apr 21, 2021

Quantum Computing Algorithms and Architecture参考文献 33被引用数 24

ひとこと要約

本論文は、ゲートベース量子コンピュータ向けに、ハードウェアに依存しないスケーラブルなベンチマークフレームワークを提案する。このフレームワークは、ゲートの忠実度、接続性、キュービット数といった主要な指標を評価する6つの構造化された量子回路から構成されている。このフレームワークは量子ボリュームと強く相関しており、特にHHL、Mandelbrot、Schrödinger's Microscopeテストにおいて顕著である。本フレームワークは、NISQ時代のIBM、Rigetti、IonQのデバイスを視覚的・直感的・定量的に比較するための有効な手法を提供する。

ABSTRACT

In the near-term "NISQ"-era of noisy, intermediate-scale, quantum hardware and beyond, reliably determining the quality of quantum devices becomes increasingly important: users need to be able to compare them with one another, and make an estimate whether they are capable of performing a given task ahead of time. In this work, we develop and release an advanced quantum benchmarking framework in order to help assess the state of the art of current quantum devices. Our testing framework measures the performance of universal quantum devices in a hardware-agnostic way, with metrics that are aimed to facilitate an intuitive understanding of which device is likely to outperform others on a given task. This is achieved through six structured tests that allow for an immediate, visual assessment of how devices compare. Each test is designed with scalability in mind, making this framework not only suitable for testing the performance of present-day quantum devices, but also of those released in the foreseeable future. The series of tests are motivated by real-life scenarios, and therefore emphasise the interplay between various relevant characteristics of quantum devices, such as qubit count, connectivity, and gate and measurement fidelity. We present the benchmark results of twenty-one different quantum devices from IBM, Rigetti and IonQ.

研究の動機と目的

• 異なるアーキテクチャ間で標準化された比較指標が不足している現状に対処すること。
• 単なる仕様を超えて、直感的で視覚的かつ定量的な量子デバイス比較を可能にするベンチマークフレームワークを開発すること。
• 実世界の量子アルゴリズムの要件を反映し、主要なデバイス特性を統合したスケーラブルで構造化されたテストスイートを提供すること。
• ベンチマークスコアが量子ボリュームなどの既存指標とどのように相関するかを評価し、フレームワークの予測能力を検証すること。
• 実験的性能に基づいて、特定の量子ワークロードに適したデバイスの選定をユーザーおよび開発者に支援すること。

提案手法

• ベルテスト、スリーディングズ・マクロスコープ、マンデルブロ、ラインドローイング、HHL、プラトニックフラクタルの6つの構造化された量子回路を設計し、それぞれが異なる量子アルゴリズム的挙動をターゲットとする。
• 各ベンチマークを実デバイスで実行し、正確な理想バージョンをシミュレートして、ターゲット結果への忠実度に基づいた正規化スコアを算出する。
• ノイズなしのシミュレーションと状態ベクトルシミュレーションを用いて、ゲートエラー、測定エラー、デバイス固有のノイズを分離・定量化する。
• 統計的分析を適用し、スコアの信頼区間を計算し、統計的フラクチュエーションとデバイスノイズを分離する。
• デバイス間でのスコアを正規化し、相関係数と視覚的な散乱図を用いて量子ボリュームと比較する。
• IBM Quantum、Rigetti Forest、Amazon Braket を介して、IBM、Rigetti、IonQ の21台のデバイスからデータを収集・分析する。

実験結果

リサーチクエスチョン

• RQ1 多様な量子ハードウェアにおいて、構造化された量子ベンチマークは、量子ボリュームなどの既存指標とどの程度相関するか？
• RQ2 どのベンチマーク要因がゲート忠実度、キュービット接続性、T1/T2時間といった特定のデバイス特性に対して最も感受性を示すか？
• RQ3 統一的でハードウェアに依存しないベンチマークフレームワークは、個別のゲート忠実度よりも直感的かつ信頼性の高いデバイス比較を可能にするか？
• RQ4 統計的ノイズとデバイス固有のノイズは、ベンチマークスコアの変動にどの程度寄与しており、それらは分離可能か？
• RQ5 実世界の量子デバイスは、理想シミュレーションの予測通りに動作するか。これにより、エラー伝搬のメカニズムがどのように特定されるか？

主な発見

• HHL、Mandelbrot、Schrödinger's Microscopeベンチマークは、量子ボリュームと最も強い相関（r ≈ 0.47–0.51）を示しており、デバイス全体の品質に感受しやすいことが示された。
• ベルテストとSchrödinger's Microscopeは、それぞれr = 0.40およびr = 0.47の高い相関を示し、デバイス能力の予測力が強いことが示された。
• ラインドローイングとプラトニックフラクタルは、相関が最も弱く（r ≈ 0.15）、特定のノイズタイプや接続制約に対して感受しやすい可能性がある。
• 平均正規化ベンチマークスコアは、量子ボリュームとr = 0.51（95%信頼区間）の相関を示し、フレームワークが包括的な性能指標としての有効性を裏付けた。
• 信頼区間と理想シミュレーションを用いることで、統計的ノイズとデバイスノイズを分離可能であり、より正確な性能要因の特定が可能になった。
• IonQデバイスは、特にマンデルブロとHHLテストにおいて、他のプラットフォームを一貫して上回る性能を示しており、高いゲートおよび測定忠実度を示している。