[論文レビュー] Application-Oriented Performance Benchmarks for Quantum Computing

Thomas Lubinski, Sonika Johri+7 more|arXiv (Cornell University)|Oct 7, 2021

Quantum Computing Algorithms and Architecture被引用数 15

ひとこと要約

本論文は、回路幅と深さの関数として、結果の整合性と実行時間を測定することで、実世界のアルゴリズムを用いてハードウェア性能を評価する、オープンソースでアプリケーション指向のベンチマークスイートを紹介する。ボリュメトリックベンチマークを用いることで、近い将来のハードウェア進展を想定した実用的でエンドツーエンドの性能指標を提供し、量子ボリュームのみに依存するのとは異なり、アプリケーションの成功をより正確に予測できる。

ABSTRACT

In this work we introduce an open source suite of quantum application-oriented performance benchmarks that is designed to measure the effectiveness of quantum computing hardware at executing quantum applications. These benchmarks probe a quantum computer's performance on various algorithms and small applications as the problem size is varied, by mapping out the fidelity of the results as a function of circuit width and depth using the framework of volumetric benchmarking. In addition to estimating the fidelity of results generated by quantum execution, the suite is designed to benchmark certain aspects of the execution pipeline in order to provide end-users with a practical measure of both the quality of and the time to solution. Our methodology is constructed to anticipate advances in quantum computing hardware that are likely to emerge in the next five years. This benchmarking suite is designed to be readily accessible to a broad audience of users and provides benchmarks that correspond to many well-known quantum computing algorithms.

研究の動機と目的

• ノイジー中規模量子（NISQ）デバイスにおける実アプリケーションの性能予測のギャップを埋めること。ランダム化ベンチマークなどのコンponentレベルの指標では捉えきれない。
• 結果の質（整合性）とソリューションまでの時間の両方を含む、エンドツーエンドの性能を反映する実用的なベンチマークスイートの開発。
• 中間のハードウェア進展、例えば中間回路測定、パラメータ化された回路、ネイティブの多重制御ゲートを想定したベンチマークの設計。
• 広範なユーザー層で量子ハードウェア性能を評価できる、標準的でアクセス可能で拡張可能なフレームワークの提供。
• 低レベルのハードウェア指標と高レベルのアプリケーション成果を結びつけることで、量子優位性のより正確な予測を可能にする。

提案手法

• ベンチマークスイートは、量子アプリケーションをパラメータ化された回路にマッピングし、幅（キュービット数）と深さ（回路深さ）を変化させて、問題サイズに応じた性能を評価する。
• ボリュメトリックベンチマークを用い、整合性対幅・深さ空間に回路を配置し、背景リファレンスとして量子ボリュームのヒューリスティックな外挿を用いる。
• 回路の整合性は、複数回の実行における平均結果の整合性として定量化され、結果の質の主な指標として用いられる。
• スイートは、量子実行時間、回路作成時間、起動時間、キュー時間の測定を実施し、反復的ワークロードに注目して、ソリューションまでの総時間の推定を行う。
• 実装ルールにより、トフォリやパラメータ化された回路などの複雑なゲートの回路構築とトランスパイレーションを標準化し、再現性を確保する。
• フレームワークはハードウェアの進化に合わせて進化可能であり、ネイティブの多重制御ゲートや、密接な古典・量子統合をサポートする。

実験結果

リサーチクエスチョン

• RQ1 量子ボリュームのような既存のハードウェア性能指標は、問題サイズに応じて実アプリケーションの整合性をどれほど正確に予測できるか？
• RQ2 コンponentレベルのベンチマークと比較して、アプリケーション指向のベンチマークは、ソリューションまでの時間の予測をどの程度改善できるか？
• RQ3 コンパイラ最適化と回路トランスパイレーションは、特にトフォリのような複雑なゲートにおいて、整合性と深さにどのように影響を与えるか？
• RQ4 中間回路測定やパラメータ化された回路といった、新たなハードウェア機能から得られる性能向上はどの程度期待できるか？
• RQ5 統合された古典・量子実行パイプラインを測定し、ソリューションまでの時間を短縮するため、ベンチマークフレームワークをどのように拡張できるか？

主な発見

• ベンチマークスイートは、量子ボリュームのみでは、特にグローバー探索や変動量子固有状態求解器のようなアルゴリズムでは、アプリケーションの整合性を正確に予測できないことが判明した。性能はボリューム予測から著しく逸脱する。
• 幅と深さが大きい回路、例えばnキュービットのトフォリゲートを用いた回路では、トランスパイレート後の深さが急激に増加し、量子ボリュームが示唆するのとは対照的に整合性が低下する。
• 実行時間の測定から、ソリューションまでの総時間は、古典的処理やキュー時間に支配されやすく、ハードウェア・ソフトウェアの統合最適化の必要性が浮き彫りになった。
• コンパイラ最適化は、特にパラメータ化された回路やオракルベースの回路において、回路の深さを顕著に低減させ、整合性を向上させる。実用的性能への影響が明確に示された。
• スイートは、現在のベンチマークがまだQiskit Runtimeのようなランタイム環境を十分に活用していないことを特定した。これからの改善により、クラウド最適化実行におけるエンドツーエンド性能を測定できるようになる。
• 中間回路測定やネイティブの多重制御ゲートといったハードウェア機能は、性能向上が期待され、本ベンチマークスイートは、これらの向上を実際に測定できるように設計されている。