[論文レビュー] Quality, Speed, and Scale: three key attributes to measure the performance of near-term quantum computers

Andrew Wack, Hanhee Paik+5 more|arXiv (Cornell University)|Oct 26, 2021

Quantum Computing Algorithms and Architecture被引用数 55

ひとこと要約

本論文は近期量子コンピュータの3つの性能属性—スケール、品質、速度—を定義し、速度を測定する CLOPS ベンチマークを導入するとともに、品質には Quantum Volume、スケールには量子ビット数、測定は IBM 系で実施している。

ABSTRACT

Defining the right metrics to properly represent the performance of a quantum computer is critical to both users and developers of a computing system. In this white paper, we identify three key attributes for quantum computing performance: quality, speed, and scale. Quality and scale are measured by quantum volume and number of qubits, respectively. We propose a speed benchmark, using an update to the quantum volume experiments that allows the measurement of Circuit Layer Operations Per Second (CLOPS) and identify how both classical and quantum components play a role in improving performance. We prescribe a procedure for measuring CLOPS and use it to characterize the performance of some IBM Quantum systems.

研究の動機と目的

• 実 workloadsにおける量子-古典相互作用を反映する総合的なベンチマークの必要性を動機づける。
• スケール（量子ビット数）、品質（量子ボリューム）、速度（CLOPS）という3つの中核性能属性を定義する。
• 実用的な量子計算の利用例における速度測定ベンチマークとしてCLOPSを提示し、運用化する。
• 量子ボリュームとCLOPSがどのように相互作用し、ランタイムコンパイルおよびデータ転送が全体性能にどう影響するかを説明する。

提案手法

• 3つの性能属性（スケール、品質、速度）を定義し、正当化する。
• 品質指標としてQuantum Volumeを採用・更新し、Circuit Layer Operations Per Second (CLOPS) 速度ベンチマークを導入する。
• 100回路テンプレートのパラメータ化されたCLOPSワークロードを記述し、実行時のオーバーヘッドとデータ転送を捉える。
• CLOPSの測定手順を詳述し、ランタイムコンパイル、パラメータ更新、データ転送時間を含める。
• IBM QuantumシステムにCLOPSを適用して、現実のボトルネックと性能ドライバを実証する。

実験結果

リサーチクエスチョン

• RQ1 量子-古典相互作用を含む実ユーザワークロードを反映するために、量子コンピュータの性能をどう特徴づけるべきか？
• RQ2 スケール、品質、速度はどのように相互作用し、これらの相互作用を最も適切に捉えるベンチマークは何か？
• RQ3 代表的でパラメータ化された回路ワークロード下で、現在のIBM Quantumシステムの実用的な性能（CLOPS）はどれくらいか？

主な発見

属性	デバイス	量子ビット数	QV	レイヤー	ショット	CLOPS
	ibmq_bogota	5	32	5	100	1419
	ibmq_toronto	27	32	5	100	951
	ibmq_brooklyn	65	32	5	100	753

• 品質はQuantum Volumeで捉えられ、これにはコヒーレンス、ゲート適合性、測定適合性、接続性、そしてコンパイラの影響が反映される。
• スケールは量子ビット数で表され、問題サイズと他の指標を改善する潜在能力に影響する。
• CLOPSはQVレイヤを秒あたり実行することで回路実行、ランタイムコンパイル、データ転送、パラメータ更新を組み込んだ総合的な速度指標を提供する。
• 測定されたCLOPSは同じQuantum Volumeでもデバイス間で異なり（例：5量子ビット vs. 65量子ビット系）、ゲート速度を超えた現実的なボトルネックを示す。
• 回路遅延とランタイムコンパイル/データ転送がCLOPSを支配するため、ソフトウェアスタックとデータ動作の最適化の機会を示す。
• Depth-1回路の性能指標はCLOPSから導出でき、回路深さに依存しないシステムの速度比較に用いられる。