[논문 리뷰] Quality, Speed, and Scale: three key attributes to measure the performance of near-term quantum computers

Andrew Wack, Hanhee Paik외 5명|arXiv (Cornell University)|2021. 10. 26.

Quantum Computing Algorithms and Architecture인용 수 55

한 줄 요약

본 논문은 근미래 양자 컴퓨터의 세 가지 성능 속성—스케일, 품질, 속도—를 정의하고, 속도 측정을 위한 CLOPS 벤치마크를 도입하며, 품질은 Quantum Volume으로, 스케일은 큐빗 수로, 속도는 CLOPS로 측정하고 IBM 시스템에서 측정한다.

ABSTRACT

Defining the right metrics to properly represent the performance of a quantum computer is critical to both users and developers of a computing system. In this white paper, we identify three key attributes for quantum computing performance: quality, speed, and scale. Quality and scale are measured by quantum volume and number of qubits, respectively. We propose a speed benchmark, using an update to the quantum volume experiments that allows the measurement of Circuit Layer Operations Per Second (CLOPS) and identify how both classical and quantum components play a role in improving performance. We prescribe a procedure for measuring CLOPS and use it to characterize the performance of some IBM Quantum systems.

연구 동기 및 목표

• 현실 워크로드에서 양자-고전 상호작용을 반영하는 종합 벤치마크의 필요성을 제기한다.
• 세 가지 핵심 성능 속성: 스케일(큐빗 수), 품질(Quantum Volume), 속도(CLOPS) 정의.
• 실용적인 양자 컴퓨팅 활용 사례에서 속도를 측정하기 위한 CLOPS 벤치마크를 제시하고 구현한다.
• 양자 부피(Quantum Volume)와 CLOPS 간의 상호관계 및 런타임 컴파일과 데이터 전송이 전체 성능에 미치는 영향을 설명한다.

제안 방법

• 세 가지 성능 속성(스케일, 품질, 속도)을 정의하고 정당화한다.
• 품질 측정으로 Quantum Volume를 채택하고 업데이트하며 Circuit Layer Operations Per Second (CLOPS) 속도 벤치마크를 도입한다.
• 런타임 및 데이터 전송 오버헤드를 포착하기 위한 100 회로 템플릿의 매개변수화된 CLOPS 워크로드를 설명한다.
• 런타임 컴파일, 매개변수 업데이트, 데이터 전송 시간 등을 포함한 CLOPS 측정을 위한 상세 절차를 제공한다.
• IBM Quantum 시스템에 CLOPS를 적용하여 실제world 병목 현상과 성능 요인을 설명한다.

실험 결과

연구 질문

• RQ1 양자-고전 상호작용을 포함한 실제 사용자 워크로드를 반영하도록 양자 컴퓨팅 성능을 어떻게 특성화해야 하는가?
• RQ2 스케일, 품질, 속도가 어떻게 상호 작용하며, 이러한 상호 작용을 가장 잘 포착하는 벤치마크는 무엇인가?
• RQ3 대표적 매개변수화된 회로 워크로드 하에서 현재 IBM Quantum 시스템의 실용적 성능(CLOPS)은 어느 정도인가?

주요 결과

• 품질은 Quantum Volume로 포착되며, 이는 코히어런스, 게이트 적합도, 측정 적합도, 연결성 및 컴파일러 효과를 반영한다.
• 스케일은 큐빗 수로 나타나며, 문제 규모와 다른 지표를 개선할 잠재력에 영향을 준다.
• CLOPS는 1초당 실행된 QV 층을 측정하여 회로 실행, 런타임 컴파일, 데이터 전송 및 매개변수 업데이트를 포함한 전체 속도 지표를 제공한다.
• 동일한 Quantum Volume를 가진 장치 간에도 측정된 CLOPS가 다르게 나타나며(예: 5-큐빗 대 65-큐빗 시스템), 이는 게이트 속도 너머의 실제 세계 병목 현상을 보여준다.
• 회로 지연 및 런타임 컴파일/데이터 전송이 CLOPS를 지배하며, 소프트웨어 스택 및 데이터 이동 최적화의 기회를 강조한다.
• 깊이-1 회로 성능 지표는 CLOPS로부터 도출되어 회로 깊이에 무관하게 시스템 속도를 비교할 수 있다.