[논문 리뷰] QASMBench: A Low-level QASM Benchmark Suite for NISQ Evaluation and Simulation

Ang Li, Samuel Stein외 2명|arXiv (Cornell University)|2020. 05. 26.

Quantum Computing Algorithms and Architecture참고 문헌 113인용 수 46

한 줄 요약

QASMBench는 NISQ 디바이스용 저수준 OpenQASM 벤치마크 세트를 제시하며, 네 가지 회로 메트릭을 도입하고 여러 플랫폼에서 충실도(fidelity)를 평가한다.

ABSTRACT

The rapid development of quantum computing (QC) in the NISQ era urgently demands a low-level benchmark suite and insightful evaluation metrics for characterizing the properties of prototype NISQ devices, the efficiency of QC programming compilers, schedulers and assemblers, and the capability of quantum system simulators in a classical computer. In this work, we fill this gap by proposing a low-level, easy-to-use benchmark suite called QASMBench based on the OpenQASM assembly representation. It consolidates commonly used quantum routines and kernels from a variety of domains including chemistry, simulation, linear algebra, searching, optimization, arithmetic, machine learning, fault tolerance, cryptography, etc., trading-off between generality and usability. To analyze these kernels in terms of NISQ device execution, in addition to circuit width and depth, we propose four circuit metrics including gate density, retention lifespan, measurement density, and entanglement variance, to extract more insights about the execution efficiency, the susceptibility to NISQ error, and the potential gain from machine-specific optimizations. Applications in QASMBench can be launched and verified on several NISQ platforms, including IBM-Q, Rigetti, IonQ and Quantinuum. For evaluation, we measure the execution fidelity of a subset of QASMBench applications on 12 IBM-Q machines through density matrix state tomography, which comprises 25K circuit evaluations. We also compare the fidelity of executions among the IBM-Q machines, the IonQ QPU and the Rigetti Aspen M-1 system. QASMBench is released at: http://github.com/pnnl/QASMBench.

연구 동기 및 목표

• NISQ 평가를 위한 OpenQASM를 기반으로 한 저수준의 사용하기 쉬운 QC 벤치마크 세트를 제공한다.
• 화학, 시뮬레이션, 선형대수학 등 다양한 양자 루틴을 하나로 통합한다.
• 실행 효율 및 오류 취약성을 분석하기 위한 회로 메트릭을 도입한다.
• IBM-Q, Rigetti, IonQ, Quantinuum에서의 플랫폼 간 벤치마킹을 가능하게 한다.
• 사용성 극대화를 위해 다른 QC 표현으로의 번역을 지원한다.

제안 방법

• 화학, 시뮬레이션, ML, 암호학 등 여러 도메인을 아우르는 다양한 OpenQASM 회로를 구성한다.
• 네 가지 회로 메트릭(게이트 밀도, 보존 수명, 측정 밀도, 얽힘 분산)을 정의하여 더 깊은 NISQ 분석을 수행한다.
• 충실도 측정을 위해 밀도 행렬 상태 토모그래피를 사용하여 실제 기기(12대 IBM-Q 기계)에서 벤치마크를 평가한다.
• 플랫폼별 동작을 밝히기 위해 IBM-Q 기계, IonQ QPU, Rigetti Aspen M-1 간의 충실도를 비교한다.
• 다른 QC 표현으로의 오픈 소스 릴리스 및 번역 도구(q-convert)를 제공한다.

실험 결과

연구 질문

• RQ1 NISQ 디바이스 성능, 컴파일러, 시뮬레이터를 평가하는 데 어떤 저수준 벤치마크와 메트릭이 효과적인가?
• RQ2 다른 NISQ 플랫폼에서 QASMBench 회로의 충실도는 어떻게 나타나는가?
• RQ3 OpenQASM 기반 벤치마크가 공정한 플랫폼 간 비교와 하드웨어/소프트웨어 공동 설계 인사이트를 가능하게 하는가?

주요 결과

• 얕은 회로는 실행 시간이 더 짧아 일반적으로 깊은 회로보다 더 높은 충실도를 보인다.
• 대형 기계(예: IBM-Q Washington 127 qubits)는 더 작은 기기에 비해 충실도가 감소하는 것으로 나타난다.
• QASMBench 회로를 IBM-Q, Rigetti, IonQ, Quantinuum 플랫폼에 업로드하고 평가할 수 있다.
• IBM-Q 초전도 기계, IonQ QPU, Rigetti Aspen M-1 간의 충실도 차이는 플랫폼별 오류 프로파일을 드러낸다.
• 제안된 네 가지 메트릭은 관찰된 충실도와 하드웨어 최적화 효과에 대한 설명력을 제공한다.