[논문 리뷰] Application-Oriented Performance Benchmarks for Quantum Computing

Thomas Lubinski, Sonika Johri외 7명|arXiv (Cornell University)|2021. 10. 07.

Quantum Computing Algorithms and Architecture인용 수 15

한 줄 요약

이 논문은 실세계 알고리즘을 통해 회로의 폭과 깊이에 대한 결과의 정밀도와 실행 시간을 측정함으로써 하드웨어 성능을 평가하는 오픈소스이자 응용 중심의 벤치마킹 세트를 소개한다. 체적 기반 벤치마킹을 통해 근시일 내 하드웨어 발전을 예측할 수 있는 실용적인 종단 간 성능 메트릭을 제공하며, 양자 볼륨만으로는 예측할 수 없는 더 정확한 응용 성공 예측을 가능하게 한다.

ABSTRACT

In this work we introduce an open source suite of quantum application-oriented performance benchmarks that is designed to measure the effectiveness of quantum computing hardware at executing quantum applications. These benchmarks probe a quantum computer's performance on various algorithms and small applications as the problem size is varied, by mapping out the fidelity of the results as a function of circuit width and depth using the framework of volumetric benchmarking. In addition to estimating the fidelity of results generated by quantum execution, the suite is designed to benchmark certain aspects of the execution pipeline in order to provide end-users with a practical measure of both the quality of and the time to solution. Our methodology is constructed to anticipate advances in quantum computing hardware that are likely to emerge in the next five years. This benchmarking suite is designed to be readily accessible to a broad audience of users and provides benchmarks that correspond to many well-known quantum computing algorithms.

연구 동기 및 목표

• 노이지 중간 규모 양자(NISQ) 장치에서 실제 응용 성능을 예측하는 데에 실패하는 구성 요소 수준의 메트릭인 랜덤라이즈드 벤치마킹과 같은 것들이 포괄하지 못하는 격차를 해소하기 위해.
• 다양한 양자 알고리즘을 위한 종단 간 성능을 반영하는 실용적인 벤치마킹 세트를 개발하여 결과 품질(정밀도)과 해결 시간을 모두 포함하기 위해.
• 중간 회로 측정, 파arameterized 회로, 네이티브 다중 제어 게이트와 같은 근시일 내 하드웨어 발전을 예측할 수 있도록 벤치마킹을 설계하기 위해.
• 넓은 사용자 기반을 대상으로 한 양자 하드웨어 성능 평가를 위한 표준화되고 접근 가능하며 확장 가능한 프레임워크를 제공하기 위해.
• 하드웨어 수준의 메트릭을 고수준의 응용 결과와 연결함으로써 양자 우월성의 더 정확한 예측을 가능하게 하기 위해.

제안 방법

• 벤치마킹 세트는 양자 응용을 파라미터화된 회로로 매핑하여 폭( 큐비트 수)과 깊이(회로 깊이)를 변화시켜 문제 크기 전반에서 성능를 평가한다.
• 체적 기반 벤치마킹을 사용하여 회로를 정밀도 대비 폭과 깊이 공간에 위치시키며, 백그라운드 기준으로 양자 볼륨의 히우리스틱 외삽을 활용한다.
• 회로 정밀도는 다수의 실행에서 평균 결과 정밀도로 정량화되며, 결과 품질의 주요 메트릭으로 사용된다.
• 벤치마킹 세트는 양자 실행 시간, 회로 생성 시간, 실행 시작 시간, 대기 시간을 측정하여 총 해결 시간을 추정하며, 반복적 워크로드에 중점을 둔다.
• 구현 규칙은 복잡한 게이트(예: Toffoli 게이트 및 파라미터화된 회로)의 경우 회로 구축 및 트랜스파일레이션을 표준화하여 재현 가능성을 확보한다.
• 프레임워크는 하드웨어와 함께 진화하도록 설계되어, 향후 기능인 네이티브 다중 제어 게이트 및 밀접한 고전-양자 통합을 지원한다.

실험 결과

연구 질문

• RQ1 기존 하드웨어 성능 메트릭, 예를 들어 양자 볼륨은 다양한 문제 크기에서 실제 양자 응용의 정밀도를 얼마나 잘 예측하는가?
• RQ2 구성 요소 수준의 벤치마킹에 비해 응용 중심의 벤치마킹은 해결 시간 예측에 얼마나 더 효과적인가?
• RQ3 컴파일러 최적화와 회로 트랜스파일레이션은 Toffoli와 같은 복잡한 게이트를 포함한 회로의 정밀도와 깊이에 어떤 영향을 미치는가?
• RQ4 중간 회로 측정 및 파라미터화된 회로와 같은 신규 하드웨어 기능으로부터 기대할 수 있는 성능 향상은 어느 정도인가?
• RQ5 벤치마킹 프레임워크는 어떻게 확장되어야 하며, 밀접하게 통합된 고전-양자 실행 파이프라인을 측정하고 해결 시간을 줄일 수 있는가?

주요 결과

• 벤치마킹 세트는 양자 볼륨만으로는 응용 정밀도를 잘 예측하지 못하며, 특히 그로버 검색 알고리즘과 변량 양자 고유값 해법에서 성능 예측과의 괴리가 심각하게 나타나는 것으로 드러났다.
• 높은 깊이와 폭을 가진 회로, 예를 들어 n-큐비트 Toffoli 게이트를 사용하는 경우, 트랜스파일된 깊이가 급격히 증가하여 양자 볼륨이 예측하는 바와는 달리 정밀도가 낮아지는 경향이 있다.
• 실행 시간 측정 결과, 총 해결 시간이 고전적 처리 시간과 대기 시간에 의해 지배되는 경우가 많아, 하드웨어-소프트웨어 통합 최적화의 필요성을 드러냈다.
• 컴파일러 최적화는 특히 파라미터화된 회로와 오라클 기반 회로에서 회로 깊이를 크게 줄이고 정밀도를 향상시켜 실용적 성능에 미치는 영향을 입증했다.
• 세트는 현재의 벤치마킹이 Qiskit 런타임과 같은 런타임 환경을 충분히 활용하지 못하고 있음을 밝혀내어, 클라우드 최적화된 실행 환경에서 종단 간 성능 측정을 위한 향후 개선이 필요하다는 점을 시사했다.
• 중간 회로 측정 및 네이티브 다중 제어 게이트와 같은 하드웨어 기능은 성능 향상에 기여할 것으로 기대되며, 벤치마킹 세트는 이러한 기능이 제공될 경우 성능 향상을 정량화하도록 설계되어 있다.