[논문 리뷰] Defining Standard Strategies for Quantum Benchmarks

Mirko Amico, Helena Zhang외 5명|arXiv (Cornell University)|2023. 03. 03.

Quantum Computing Algorithms and Architecture인용 수 10

한 줄 요약

본 논문은 양자 하드웨어를 위한 보편적 벤치마크 기준을 정의하고 벤치마크와 진단을 구분하며 Quantum Volume, CLOPS, 미러 회로, 응용 벤치마크를 분석하고 최적화 및 오류 완화 보고 방법까지 다룬다.

ABSTRACT

As quantum computers grow in size and scope, a question of great importance is how best to benchmark performance. Here we define a set of characteristics that any benchmark should follow -- randomized, well-defined, holistic, device independent -- and make a distinction between benchmarks and diagnostics. We use Quantum Volume (QV) [1] as an example case for clear rules in benchmarking, illustrating the implications for using different success statistics, as in Ref. [2]. We discuss the issue of benchmark optimizations, detail when those optimizations are appropriate, and how they should be reported. Reporting the use of quantum error mitigation techniques is especially critical for interpreting benchmarking results, as their ability to yield highly accurate observables comes with exponential overhead, which is often omitted in performance evaluations. Finally, we use application-oriented and mirror benchmarking techniques to demonstrate some of the highlighted optimization principles, and introduce a scalable mirror quantum volume benchmark. We elucidate the importance of simple optimizations for improving benchmarking results, and note that such omissions can make a critical difference in comparisons. For example, when running mirror randomized benchmarking, we observe a reduction in error per qubit from 2% to 1% on a 26-qubit circuit with the inclusion of dynamic decoupling.

연구 동기 및 목표

• 무작위화된, 잘 정의된, 총체적이며 플랫폼 독립적인 벤치마크 공리 집합을 제안하고 벤치마크와 진단을 구분한다.
• 기존 벤치마크(Quantum Volume, CLOPS)와 미러 회로를 사용해 기준을 설명하고 확장성 및 적용 가능성에 대해 논의한다.
• 벤치마킹에서 최적화 및 오류 완화가 어떻게 보고되어야 하는지 명확히 하여 불공정한 비교를 피한다.
• 제안된 규칙의 실용적 영향을 보여주기 위해 응용 지향 벤치마킹 및 미러 벤치마킹 접근법을 제시한다.

제안 방법

• 벤치마크 공리 정의: 무작위화, 명확한 절차, 총체적 커버리지, 그리고 플랫폼 독립성.
• 깊이(depth)와 회로 기반 성공 기준이 포함된 Quantum Volume을 설명하고 통계적 합격 규칙을 논의한다.
• QV 층의 초당 처리량에 대한 CLOPS와 그 수식을 제시한다.
• 확장 가능한 벤치마크로서 미러 회로를 도입하고 구성 및 트레이드오프를 설명한다.
• 응용 지향 벤치마크 모음과 이것들이 벤치마크 대 진단 프레임워크에 어떻게 적합한지 논의한다.
• 벤치마크 결과에 대한 최적화 및 완화 기법의 영향을 보여주는 실험적 예시를 제공한다.

실험 결과

연구 질문

• RQ1 다양한 양자 하드웨어 플랫폼에서 신뢰할 수 있고 공정한 벤치마크를 구성하는 요소는 무엇인가?
• RQ2 다양한 벤치마크 계열(QV, CLOPS, 미러 벤치마크, 응용 모음)이 범위, 확장성, 소음 민감도에서 어떻게 비교되는가?
• RQ3 벤치마킹에서 어떤 최적화가 적절하며 그 오버헤드는 어떻게 보고되어야 하는가?
• RQ4 오류 완화 및 억제 기법이 벤치마크 결과와 비교 가능성에 어떤 영향을 미치는가?

주요 결과

• 벤치마크는 공정한 플랫폼 간 비교를 가능하게 하려면 무작위화되고, 잘 정의되며, 총체적이고, 플랫폼 독립적이어야 한다.
• 벤치마크와 진단 간의 명확한 구분은 회로 특정 테스트에서의 성능을 지나치게 일반화하는 것을 피하는 데 도움이 된다.
• 미러 회로는 대형 양자 시스템 벤치마킹을 위한 확장 가능하고 빠른 대리 지표를 제공하며 특정 오류 민감성을 강조한다.
• 최적화 기술은 벤치마크 결과를 개선할 수 있지만 그 오버헤드와 한계와 함께 투명하게 보고되어야 한다.
• 오류 완화는 관찰된 품질을 크게 향상시킬 수 있지만 종종 지수적인 고전적 또는 양자 오버헤드를 초래하여 장치 간 비교 가능성에 영향을 준다.
• 응용 지향 벤치마크는 실용적 성능을 보여줄 수 있지만 회로 구조 바이어스와 잠재적 최적화로 인해 해석에 신중을 기해야 한다.