[논문 리뷰] SupermarQ: A Scalable Quantum Benchmark Suite

Teague Tomesh, Pranav Gokhale외 8명|arXiv (Cornell University)|2022. 02. 22.

Quantum Computing Algorithms and Architecture인용 수 10

한 줄 요약

SupermarQ는 다양한 워크로드를 통해 양자 시스템을 평가하기 위해 애플리케이션 수준 메트릭을 사용하는 확장 가능하고 하드웨어에 종속되지 않는 양자 벤치마크 세트를 소개한다. 이는 기능 벡터를 활용해 애플리케이션 커버리지를 정량화하고, 실질적인 NISQ 장치(IBM, IonQ, AQT)에서 종합적인 스택 성능 평가를 가능하게 한다. 이는 체계적인 벤치마킹이 양자 컴퓨팅 분야에서 신뢰할 수 있는 플랫폼 간 비교를 위해 필수적임을 입증한다.

ABSTRACT

The emergence of quantum computers as a new computational paradigm has been accompanied by speculation concerning the scope and timeline of their anticipated revolutionary changes. While quantum computing is still in its infancy, the variety of different architectures used to implement quantum computations make it difficult to reliably measure and compare performance. This problem motivates our introduction of SupermarQ, a scalable, hardware-agnostic quantum benchmark suite which uses application-level metrics to measure performance. SupermarQ is the first attempt to systematically apply techniques from classical benchmarking methodology to the quantum domain. We define a set of feature vectors to quantify coverage, select applications from a variety of domains to ensure the suite is representative of real workloads, and collect benchmark results from the IBM, IonQ, and AQT@LBNL platforms. Looking forward, we envision that quantum benchmarking will encompass a large cross-community effort built on open source, constantly evolving benchmark suites. We introduce SupermarQ as an important step in this direction.

연구 동기 및 목표

• 신속하게 발전하는 양자 아키텍처를 위한 표준화되고 종합적인 벤치마킹의 부족을 해결하기 위해.
• 다양한 애플리케이션 도메인에 걸쳐 실제 세계의 양자 워크로드를 반영하는 확장 가능한 벤치마크 세트를 개발하기 위해.
• 하드웨어와 소프트웨어 특성을 통합함으로써 종합적인 스택 성능 평가를 가능하게 하기 위해.
• NISQ 및 오류 정제 가능한 환경을 모두 지원함으로써 변화하는 양자 하드웨어에 대한 관련성을 유지하기 위해.
• 오픈이고 커뮤니티 기반의 양자 벤치마킹 생태계를 위한 기반을 마련하기 위해.

제안 방법

• 회로 연결성, 병렬성, 이중 큐비트 게이트 비율과 같은 하드웨어에 종속되지 않는 기능 벡터 집합을 정의하여 애플리케이션 자원 요구량과 커버리지를 정량화하기 위해.
• 양자 화학, 최적화, 머신러닝 등 다양한 도메인에서 대표적인 양자 애플리케이션을 선정하여 광범위한 워크로드 표현을 확보하기 위해.
• 실제 양자 하드웨어 플랫폼(IBM, IonQ, AQT@LBNL)에서 벤치마크 세트를 평가하고, 접근성과 재현 가능성을 위해 회로 시뮬레이션을 활용하기 위해.
• 노이즈를 고려한 컴파일 기법과 시스템 수준 메트릭을 통합하여 NISQ 제약 조건 하에서의 실제 성능를 반영하기 위해.
• 미래의 하드웨어 발전과 소프트웨어 최적화에 대응하기 위해 확장 가능한 아키텍처로 벤치마크 세트를 설계하기 위해.
• 재현 가능성과 커뮤니티 확장성을 위해 Apache 2.0 라이선스 하에 Jupyter 노트북, 파이썬 코드, 시뮬레이션 결과를 포함한 전체 아티팩트를 공개하기 위해.

실험 결과

연구 질문

• RQ1 다양한 애플리케이션 도메인에 걸쳐 실제 세계의 양자 워크로드를 대표할 수 있는 확장 가능하고 종합적인 양자 벤치마크 세트는 어떻게 설계할 수 있는가?
• RQ2 어떤 하드웨어에 종속되지 않는 기능 집합이 양자 애플리케이션의 자원 요구량과 커버리지를 가장 잘 반영하는가?
• RQ3 초전도체 및 트랩 이온 시스템과 같은 다양한 양자 플랫폼 간에 하드웨어와 소프트웨어를 통합한 종합적인 스택 성능는 어떻게 달라지는가?
• RQ4 실제 하드웨어 접근이 제한된 상황에서, 회로 시뮬레이션은 실제 하드웨어 실행을 얼마나 정확하게 반영할 수 있는가?
• RQ5 NISQ에서 오류 정제 가능한 양자 컴퓨팅으로의 전환 기간 동안 벤치마크 세트는 어떻게 진화하여 지속 가능성을 확보할 수 있는가?

주요 결과

• SupermarQ는 엔트랑글링 게이트 수와 회로 깊이와 같은 애플리케이션 수준 자원 요구사항을 반영하는 12개의 기능 벡터를 사용하여 다양한 양자 워크로드를 성공적으로 포괄한다.
• 벤치마크 세트를 통해 IBM, IonQ, AQT@LBNL 플랫폼 간 의미 있는 플랫폼 간 비교가 가능해졌으며, 하드웨어 네이티브 게이트 세트와 오류 특성에 기반한 성능 차이가 드러났다.
• 아티팩트에서 점점 증가하는 노이즈 수준을 가진 회로 시뮬레이션은 벤치마크 점수의 예상되는 열화를 정확하게 반영하여 시뮬레이션 기반 평가 접근법의 타당성을 입증한다.
• 벤치마크 세트는 단일 수치 메트릭(예: 양자 볼륨 또는 Q-스코어)보다 더 정확하고 종합적인 성능 통찰을 제공하는 애플리케이션 수준 메트릭의 유용성을 입증한다.
• Zenodo에 공개된 아티팩트(DOI 10.5281/zenodo.5786391)는 재현 가능성과 오픈소스 코드 및 Jupyter 기반 워크플로우를 통한 커뮤니티 확장을 지원한다.
• 본 연구는 양자 하드웨어와 소프트웨어의 발전에 따라 진화하는 커뮤니티 기반의 벤치마크 생태계를 위한 기반을 마련한다.