[論文レビュー] QPack Scores: Quantitative performance metrics for application-oriented quantum computer benchmarking

Huub Donkers, Koen Mesman+2 more|arXiv (Cornell University)|May 24, 2022

Quantum Computing Algorithms and Architecture被引用数 6

ひとこと要約

本論文では、NISQ時代の量子コンピュータおよびシミュレータのパフォーマンスを実行時間、正確性、スケーラビリティ、容量の観点から定量的に評価するためのベンチマークフレームワーク「QPack Scores」を紹介する。QAOAおよびVQEアプリケーションを用いて、量子実行データを標準化されたサブスコアと総合スコアに変換することで、局所シミュレータ、クラウドシミュレータ、IBMQ Nairobiの実ハードウェアを含む、クロスプラットフォームでの包括的比較を可能にする。

ABSTRACT

This paper presents the benchmark score definitions of QPack, an application-oriented cross-platform benchmarking suite for quantum computers and simulators, which makes use of scalable Quantum Approximate Optimization Algorithm and Variational Quantum Eigensolver applications. Using a varied set of benchmark applications, an insight of how well a quantum computer or its simulator performs on a general NISQ-era application can be quantitatively made. This paper presents what quantum execution data can be collected and transformed into benchmark scores for application-oriented quantum benchmarking. Definitions are given for an overall benchmark score, as well as sub-scores based on runtime, accuracy, scalability and capacity performance. Using these scores, a comparison is made between various quantum computer simulators, running both locally and on vendors' remote cloud services. We also use the QPack benchmark to collect a small set of quantum execution data of the IBMQ Nairobi quantum processor. The goal of the QPack benchmark scores is to give a holistic insight into quantum performance and the ability to make easy and quick comparisons between different quantum computers

研究の動機と目的

• NISQ時代の量子コンピュータおよびシミュレータにおける包括的でアプリケーションレベルのパフォーマンス評価の不足に対処すること。
• 量子ボリュームのような低レベルのメトリクスの限界を克服し、システムレベルのパフォーマンスインサイトを提供すること。
• 実世界のアプリケーションワークロードを用いて、多様な量子ハードウェアおよびソフトウェアプラットフォーム間での直接的で定量的な比較を可能にすること。
• 実用的で、拡張可能な標準化されたベンチマークスイートを構築し、ノイズの多い中規模量子システムにおける実際のパフォーマンスのトレードオフを捉えること。

提案手法

• LibKetに基づくQPackと呼ばれるクロスプラットフォームのベンチマークスイートを設計し、多様な量子プラットフォームでQAOAおよびVQE回路を実行する。
• ベンチマーク実行中に、実行時間、出力の正確性、最適化イテレーション回数、回路の深さといった、原始的な量子実行データを収集する。
• 収集したデータを、それぞれ正規化および重み付けされた4つのサブスコア（実行時間、正確性、スケーラビリティ、容量）に変換する。
• 4つのサブスコアの重み付き平均として、プラットフォーム間での直接比較を可能にする総合スコアを計算する。
• スコアフレームワークを、局所シミュレータ（Cirq、Qiskit Aer、QuEST、Rigetti QVM）、リモートクラウドシミュレータ（IBMQ QASM、IonQ）、実ハードウェア（IBMQ Nairobi）に適用する。
• 一貫性のある評価を保証するため、標準化された問題インスタンス（MaxCut、Ising Chain、ランダムな対角ハミルトニアン、TSP、MIS）を用いる。

実験結果

リサーチクエスチョン

• RQ1 実際のアプリケーションワークロードを用いて、実行時間、正確性、スケーラビリティ、容量という複数の次元において、量子パフォーマンスをどのように定量的に測定できるか。
• RQ2 既存の量子シミュレータおよび実ハードウェアプラットフォームは、これらの次元においてどの程度のパフォーマンス差を示すか。
• RQ3 統一されたベンチマークフレームワークは、局所およびクラウドベースのシステムを含む多様な量子プラットフォーム間での公平で再現可能な比較を可能にするか。
• RQ4 実際の量子ハードウェア（例：IBMQ Nairobi）のパフォーマンス特性は、高精度なシミュレータと比べてどのように異なるか。
• RQ5 ベンチマークは、実用的なNISQアプリケーションにおける、キュービット数、ゲート忠実度、回路深さの間のトレードオフについて、どのようなインサイトを明らかにするか。

主な発見

• QPackベンチマークは、実行時間、正確性、スケーラビリティ、容量という4つの次元における量子パフォーマンスを成功裏に定量的に測定し、包括的な評価を可能にした。
• IBMQ QASMシミュレータは、テストされたシミュレータの中で最高の総合スコア（11.63）を達成し、実行時間と正確性の両面で局所およびリモートの代替手段を上回った。
• QuESTシミュレータは最高の容量スコア（15.00）と高いスケーラビリティ（13.67）を達成し、大規模な回路での優れたパフォーマンスを示した。
• IBMQ Nairobi量子プロセッサは中程度の総合スコア（3.70）を記録し、正確性（3.07）と容量（1.65）が低かったため、ノイズ耐性とキュービット接続性の制限が顕在化した。
• リモートシミュレータのIonQやIBMQ QASMは、競争力のあるパフォーマンスを示し、IonQは高いスケーラビリティスコア（11.00）と高い正確性（9.25）を達成した。
• ベンチマークは顕著なパフォーマンスのトレードオフを明らかにした。例えば、Rigetti QVMはスケーラビリティ（14.00）に優れたが正確性（1.21）が低く、高いノイズまたはゲート不正確性を示唆した。