[論文レビュー] MQT Bench: Benchmarking Software and Design Automation Tools for Quantum Computing

Nils Quetschlich, Lukas Burgholzer+1 more|arXiv (Cornell University)|Apr 28, 2022

Quantum Computing Algorithms and Architecture被引用数 5

ひとこと要約

本論文では、アルゴリズム的からハードウェアマップされた回路まで4つの抽象化レベルをカバーする包括的なベンチマークスイートであるMQT Benchを紹介する。これにより、クロスレベル評価が可能となる。複数のコンパイラ、ゲートセット、デバイスをカバーする70,000件を超えるベンチマーク回路を提供し、WebインターフェースおよびPythonパッケージからアクセス可能であり、量子ツール評価における比較可能性、再現性、透明性が著しく向上する。

ABSTRACT

Quantum software tools for a wide variety of design tasks on and across different levels of abstraction are crucial in order to eventually realize useful quantum applications. This requires practical and relevant benchmarks for new software tools to be empirically evaluated and compared to the current state of the art. Although benchmarks for specific design tasks are commonly available, the demand for an overarching cross-level benchmark suite has not yet been fully met and there is no mutual consolidation in how quantum software tools are evaluated thus far. In this work, we propose the MQT Bench benchmark suite (as part of the Munich Quantum Toolkit, MQT) based on four core traits: (1) cross-level support for different abstraction levels, (2) accessibility via an easy-to-use web interface (https://www.cda.cit.tum.de/mqtbench) and a Python package, (3) provision of a broad selection of benchmarks to facilitate generalizability, as well as (4) extendability to future algorithms, gate-sets, and hardware architectures. By comprising more than 70,000 benchmark circuits ranging from 2 to 130 qubits on four abstraction levels, MQT Bench presents a first step towards benchmarking different abstraction levels with a single benchmark suite to increase comparability, reproducibility, and transparency.

研究の動機と目的

• 量子ソフトウェアツールの異なる抽象化レベルで評価可能な標準化されたクロスレベルベンチマークの不足に対処する。
• 量子設計自動化ツールの実験的評価における比較可能性、再現性、透明性を向上させる。
• 進化する量子アーキテクチャ、ゲートセット、アルゴリズムに対応できるスケーラブルかつ拡張可能なベンチマークスイートを提供する。
• WebポータルおよびPythonパッケージによるオンデマンドベンチマーク生成を可能にするアクセス可能なインターフェースを通じて、実用的採用を促進する。
• 量子ソフトウェアスタック全体にわたる分散したベンチマーク手法を、単一の統合フレームワークに統合する。

提案手法

• アルゴリズム的、分解済み、マップ済み、ネイティブゲートレベルの4つの抽象化レベルを持つベンチマークスイートを設計する。
• Qiskit、TKETなどの複数のコンパイラを用いて、QFT、グローバーのアルゴリズム、その他の基本ブロックを含む多様な量子アルゴリズムからベンチマーク回路を生成する。
• 複数のネイティブゲートセットとターゲットデバイス（8〜130キュービット）をサポートし、デバイス固有のマッピングを実施してハードウェアの関連性を確保する。
• WebインターフェースおよびPythonパッケージを実装し、ベンチマークの簡単なアクセス、フィルタリング、オンデマンド生成を可能にする。
• 新しいアルゴリズム、ゲートセット、ハードウェアアーキテクチャの統合を可能にする構造として、ベンチマークパイプラインを拡張可能に設計する。
• 計算のオフライン化を図るため、事前にベンチマークを生成・保存するが、動的取得の柔軟性を維持する。

実験結果

リサーチクエスチョン

• RQ1 1つのベンチマークスイートが、量子回路設計における複数の抽象化レベルで意味のある評価をどのように可能にするか？
• RQ2 MQT Benchは、既存の孤立したベンチマークスイートと比較して、量子ソフトウェアツール評価の比較可能性と再現性をどの程度向上させるか？
• RQ3 生成されたベンチマーク回路の主な特徴は何か？また、それらは現実の量子アルゴリズムワークロードをどの程度反映しているか？
• RQ4 MQT Benchフレームワークは、将来の量子ハードウェアおよびソフトウェアの発展に対し、どの程度スケーラブルかつ拡張可能か？
• RQ5 コンパイラの選択（例：Qiskit対TKET）は、ベンチマーク生成時間およびキュービット数ごとの分布にどのような影響を与えるか？

主な発見

• MQT Benchは、2〜130キュービットの4つの抽象化レベルをカバーする70,000件を超えるベンチマーク回路を提供し、量子ソフトウェアツールの包括的評価を可能にする。
• ハードウェアの可用性および生成時間制約のため、キュービット数が増加するにつれてベンチマークの相対的頻度が低下する傾向を示す。
• TKETコンパイラはQiskitよりも生成に時間がかかっており、特にターゲット依存のマップ済みレベルで生成されたベンチマークが少ない。
• マップ済みレベルのベンチマークのデバイス分布は、ハードウェアの可用性を反映しており、大規模なデバイス（例：127キュービット）に多くのベンチマークが割り当てられている。
• プログラム通信、クリティカルディープネス、エンタングルメント比、ライブネス、並列性、マルチキュービットゲート割合の6つの主要な回路特徴を含み、詳細なパフォーマンス分析を可能にする。
• WebインターフェースおよびPythonパッケージにより、ベンチマークの効率的かつオンデマンドでのアクセスとフィルタリングが可能となり、使いやすさと採用可能性が著しく向上する。