[논문 리뷰] Scalable Benchmarks for Gate-Based Quantum Computers

Arjan Cornelissen, Johannes Bausch외 1명|arXiv (Cornell University)|2021. 04. 21.

Quantum Computing Algorithms and Architecture참고 문헌 33인용 수 24

한 줄 요약

이 논문은 게이트 기반 양자 컴퓨터를 위한 하드웨어에 종속되지 않고 확장 가능한 벤치마킹 프레임워크를 소개한다. 이 프레임워크는 게이트 허용도, 연결성, 큐비트 수 등 핵심 지표를 평가하는 여섯 개의 구조화된 양자 회로로 구성되어 있으며, 양자 볼륨과 강한 상관관계를 보인다. 특히 HHL, 만델브로트, 슈뢰딩거의 현미경 테스트에서 두드러진다. 이는 IBM, 릭에티, 아이언큐의 NISQ 시대 기기들을 시각적이고 직관적이며 정량적인 방식으로 비교할 수 있게 한다.

ABSTRACT

In the near-term "NISQ"-era of noisy, intermediate-scale, quantum hardware and beyond, reliably determining the quality of quantum devices becomes increasingly important: users need to be able to compare them with one another, and make an estimate whether they are capable of performing a given task ahead of time. In this work, we develop and release an advanced quantum benchmarking framework in order to help assess the state of the art of current quantum devices. Our testing framework measures the performance of universal quantum devices in a hardware-agnostic way, with metrics that are aimed to facilitate an intuitive understanding of which device is likely to outperform others on a given task. This is achieved through six structured tests that allow for an immediate, visual assessment of how devices compare. Each test is designed with scalability in mind, making this framework not only suitable for testing the performance of present-day quantum devices, but also of those released in the foreseeable future. The series of tests are motivated by real-life scenarios, and therefore emphasise the interplay between various relevant characteristics of quantum devices, such as qubit count, connectivity, and gate and measurement fidelity. We present the benchmark results of twenty-one different quantum devices from IBM, Rigetti and IonQ.

연구 동기 및 목표

• 다양한 아키텍처 간에 표준화되고 비교 가능한 지표가 부족한 문제를 해결하기 위해.
• 순수한 사양을 넘어서 직관적이고 시각적이며 정량적인 방식으로 양자 장치를 비교할 수 있는 벤치마킹 프레임워크를 개발하기 위해.
• 실제 양자 알고리즘 요구사항을 반영하고 주요 장치 특성 간의 상호작용을 고려한 확장 가능하고 체계적인 테스트 세트를 제공하기 위해.
• 기존 지표인 양자 볼륨과의 상관관계를 통해 프레임워크의 예측 능력을 검증하기 위해.
• 실제 성능 기반으로 특정 양자 워크로드에 적합한 장치를 사용자와 개발자가 선택할 수 있도록 안내하기 위해.

제안 방법

• 각기 다른 양자 알고리즘 행동을 타깃으로 하는 여섯 개의 구조화된 양자 회로—벨 테스트, 슈뢰딩거의 현미경, 만델브로트, 라인 드로잉, HHL, 플라톤 프랙탈—을 설계한다.
• 각 벤치마크를 실제 장치에 구현하고 정확한 이상적 버전을 시뮬레이션하여 목표 결과에 대한 허용도 기반 정규화 점수를 계산한다.
• 노이즈 없는 시뮬레이션과 상태벡터 시뮬레이션을 사용하여 게이트 오류, 측정 오류, 장치 고유의 노이즈를 분리하고 정량화한다.
• 통계적 분석을 적용하여 점수 신뢰구간을 계산하고 통계적 변동성을 장치 노이즈에서 분리한다.
• 장치 간 정규화 점수를 비교하고, 상관계수와 시각적 산점도를 사용하여 양자 볼륨과의 상관관계를 분석한다.
• IBM Quantum, 릭에티 포레스트, 아마존 브레킷을 통한 액세스를 통해 IBM, 릭에티, 아이언큐의 21개 장치에서 데이터를 수집하고 분석한다.

실험 결과

연구 질문

• RQ1 다양한 양자 하드웨어에서 구조화된 양자 벤치마크가 양자 볼륨과 같은 기존 지표와 얼마나 잘 상관되는가?
• RQ2 어느 벤치마크 구성 요소가 게이트 허용도, 큐비트 연결성, 또는 T1/T2 시간과 같은 특정 장치 특성에 가장 민감한가?
• RQ3 통합된 하드웨어에 종속되지 않는 벤치마킹 프레임워크가 고립된 게이트 허용도보다 더 직관적이고 신뢰할 수 있는 장치 비교를 제공할 수 있는가?
• RQ4 통계적 노이즈와 장치 고유의 노이즈가 벤치마크 점수 변동성에 기여하는 정도는 어떻게 되며, 이를 분리할 수 있는가?
• RQ5 실제 양자 장치는 이상적 시뮬레이션에 의해 예측된 바와 같이 얼마나 잘 작동하는가? 이는 오류 전파에 대해 무엇을 드러내는가?

주요 결과

• HHL, 만델브로트, 슈뢰딩거의 현미경 벤치마크는 양자 볼륨과 가장 강한 상관관계(r ≈ 0.47–0.51)를 보이며, 전체 장치 품질에 민감함을 시사한다.
• 벨 테스트와 슈뢰딩거의 현미경은 각각 r = 0.40과 r = 0.47로 양자 볼륨과 가장 높은 상관관계를 보이며, 장치 능력에 대한 강력한 예측 능력을 지닌다.
• 라인 드로잉과 플라톤 프랙탈은 상관관계가 가장 낮다(r ≈ 0.15)로, 특정 노이즈 유형이나 연결성 제약에 더 민감할 수 있음을 시사한다.
• 평균 정규화된 벤치마크 점수는 양자 볼륨과 r = 0.51(95% 신뢰수준)의 상관관계를 보이며, 이는 프레임워크가 통합된 성능 지표로서의 유용성을 뒷받침한다.
• 신뢰구간과 이상적 시뮬레이션을 사용하여 통계적 노이즈와 장치 노이즈를 분리할 수 있으며, 이는 더 정확한 성능 기여도 분석을 가능하게 한다.
• 아이언큐 장치는 대부분의 벤치마크에서 다른 플랫폼을 뛰어넘는 성능을 보이며, 특히 만델브로트와 HHL 테스트에서 높은 게이트 및 측정 허용도를 반영한다.