[논문 리뷰] QPack Scores: Quantitative performance metrics for application-oriented quantum computer benchmarking

Huub Donkers, Koen Mesman외 2명|arXiv (Cornell University)|2022. 05. 24.

Quantum Computing Algorithms and Architecture인용 수 6

한 줄 요약

이 논문은 QAOA와 VQE 응용 프로그램을 사용하여 런타임, 정확도, 확장성 및 용량을 기반으로 NISQ 시대의 양자 컴퓨터 및 시뮬레이터에 대한 정량적 평가 프레임워크인 QPack 점수를 소개한다. 이 프레임워크는 양자 실행 데이터를 표준화된 부분 점수와 종합 평가 점수로 변환함으로써 통합적이고 플랫폼 간 비교를 가능하게 하며, 로컬 시뮬레이터, 클라우드 시뮬레이터, IBMQ Nairobi 하드웨어에서의 유용성을 입증한다.

ABSTRACT

This paper presents the benchmark score definitions of QPack, an application-oriented cross-platform benchmarking suite for quantum computers and simulators, which makes use of scalable Quantum Approximate Optimization Algorithm and Variational Quantum Eigensolver applications. Using a varied set of benchmark applications, an insight of how well a quantum computer or its simulator performs on a general NISQ-era application can be quantitatively made. This paper presents what quantum execution data can be collected and transformed into benchmark scores for application-oriented quantum benchmarking. Definitions are given for an overall benchmark score, as well as sub-scores based on runtime, accuracy, scalability and capacity performance. Using these scores, a comparison is made between various quantum computer simulators, running both locally and on vendors' remote cloud services. We also use the QPack benchmark to collect a small set of quantum execution data of the IBMQ Nairobi quantum processor. The goal of the QPack benchmark scores is to give a holistic insight into quantum performance and the ability to make easy and quick comparisons between different quantum computers

연구 동기 및 목표

• NISQ 시대의 양자 컴퓨터 및 시뮬레이터에 대한 통합적이고 응용 프로그램 수준의 성능 평가 부족을 해결한다.
• 양자 볼륨과 같은 저수준 메트릭의 한계를 극복하여 시스템 수준의 성능 통찰을 제공한다.
• 실세계 응용 워크로드를 사용하여 다양한 양자 하드웨어 및 소프트웨어 플랫폼 간 직접적인 정량적 비교를 가능하게 한다.
• 실용적인 성능 트레이드오프를 포괄하는 표준화되고 확장 가능한 벤치마킹 세트를 개발한다.

제안 방법

• LibKet 기반의 QPack이라는 다중 플랫폼 벤치마킹 세트를 설계하여 다양한 양자 플랫폼에서 QAOA 및 VQE 회로를 실행한다.
• 벤치마킹 실행 동안 런타임, 출력 정확도, 최적화기 반복 수, 회로 깊이 등의 원시 양자 실행 데이터를 수집한다.
• 수집된 데이터를 런타임, 정확도, 확장성, 용량의 네 가지 부분 점수로 변환하며, 각 점수는 정규화되고 가중치가 적용된다.
• 네 가지 부분 점수의 가중 평균으로 종합 벤치마크 점수를 계산하여 다양한 플랫폼 간 직접 비교를 가능하게 한다.
• 이 점수 프레임워크를 로컬 시뮬레이터(Cirq, Qiskit Aer, QuEST, Rigetti QVM), 원격 클라우드 시뮬레이터(IBMQ QASM, IonQ), 실제 하드웨어(IBMQ Nairobi)에 적용한다.
• 일관된 평가를 보장하기 위해 표준화된 문제 인스턴스(MaxCut, Ising Chain, Random Diagonal Hamiltonian, TSP, MIS)를 사용한다.

실험 결과

연구 질문

• RQ1 실제 응용 워크로드를 사용하여 런타임, 정확도, 확장성 및 용량이라는 다차원적 측면에서 양자 성능을 어떻게 정량적으로 측정할 수 있는가?
• RQ2 기존의 양자 시뮬레이터 및 실제 하드웨어 플랫폼 간에 이러한 측면에서 성능에 얼마나 큰 격차가 존재하는가?
• RQ3 통합된 벤치마킹 프레임워크가 로컬 및 클라우드 기반 시스템을 포함한 다양한 양자 플랫폼 간 공정하고 재현 가능한 비교를 가능하게 할 수 있는가?
• RQ4 실제 양자 하드웨어(예: IBMQ Nairobi)의 성능 특성은 고정밀도 시뮬레이터와 비교해 어떻게 다른가?
• RQ5 벤치마킹은 실용적인 NISQ 응용에서 큐비트 수, 게이트 정밀도 및 회로 깊이 간의 성능 트레이드오프에 대해 어떤 통찰을 제공하는가?

주요 결과

• QPack 벤치마킹은 런타임, 정확도, 확장성 및 용량이라는 네 가지 차원에서 양자 성능을 성공적으로 정량화하여 통합적 평가를 가능하게 했다.
• IBMQ QASM 시뮬레이터는 테스트된 시뮬레이터 중에서 가장 높은 종합 벤치마크 점수(11.63)를 기록했으며, 런타임과 정확도에서 로컬 및 원격 대안을 모두 앞섰다.
• QuEST 시뮬레이터는 가장 높은 용량 점수(15.00)와 뛰어난 확장성(13.67)을 기록하여 큰 회로에서 뛰어난 성능을 보였다.
• IBMQ Nairobi 양자 프로세서는 중간 수준의 종합 점수(3.70)를 기록했으며, 정확도(3.07)와 용량(1.65)이 낮아 노이즈 내성과 큐비트 연결성의 한계를 드러냈다.
• IonQ 및 IBMQ QASM과 같은 원격 시뮬레이터는 경쟁 가능한 성능을 보였으며, IonQ는 높은 확장성 점수(11.00)와 강력한 정확도(9.25)를 기록했다.
• 벤치마킹은 뚜렷한 성능 트레이드오프를 드러냈다. 예를 들어, Rigetti QVM은 확장성 점수(14.00)에서 뛰어났지만 정확도 점수(1.21)가 매우 낮아 높은 노이즈 또는 게이트 비정밀도를 시사했다.