[논문 리뷰] QPack: Quantum Approximate Optimization Algorithms as universal benchmark for quantum computers

Koen Mesman, Zaid Al-Ars외 1명|arXiv (Cornell University)|2021. 03. 31.

Quantum Computing Algorithms and Architecture인용 수 16

한 줄 요약

QPack은 XACC 라이브러리를 통해 다양한 시뮬레이터와 하드웨어에서의 실행을 가능하게 하는 하드웨어 독립적이고 애플리케이션 수준의 벤치마크를 제공하며, Noisy Intermediate-Scale Quantum (NISQ) 컴퓨터를 평가하기 위해 Quantum Approximate Optimization Algorithm (QAOA)를 사용하여 문제 크기, 런타임, 정확도 등 여러 성능 차원을 분석한다. MaxCut, 지배 집합, 여행행렬 문제를 대상으로 하며, IBM의 런타임 환경을 활용할 경우 24배의 성능 향상을 관측하였다. 이는 다양한 시뮬레이터와 하드웨어에서 사용 가능한 유니버설 벤치마크를 제공한다.

ABSTRACT

In this paper, we present QPack, a universal benchmark for Noisy Intermediate-Scale Quantum (NISQ) computers based on Quantum Approximate Optimization Algorithms (QAOA). Unlike other evaluation metrics in the field, this benchmark evaluates not only one, but multiple important aspects of quantum computing hardware: the maximum problem size a quantum computer can solve, the required runtime, as well as the achieved accuracy. The applications MaxCut, dominating set and traveling salesman are included to provide variation in resource requirements. This will allow for a diverse benchmark that promotes optimal design considerations, avoiding hardware implementations for specific applications. We also discuss the design aspects that are taken in consideration for the QPack benchmark, with critical quantum benchmark requirements in mind. An implementation is presented, providing practical metrics. QPack is presented as a hardware agnostic benchmark by making use of the XACC library. We demonstrate the application of the benchmark on various IBM machines, as well as a range of simulators.

연구 동기 및 목표

• 저수준 게이트 성능을 넘어서 실제 응용에서의 유용성을 반영하는 실용적이고 애플리케이션 수준의 벤치마크가 부족한 문제를 해결하기 위해.
• 최대 해결 가능한 문제 크기, 필요 런타임, 해의 정확도 등 여러 핵심 메트릭을 기반으로 양자 하드웨어를 평가하기 위해.
• 포트폴리얼리티를 위해 XACC 양자 컴퓨팅 라이브러리를 활용하여 하드웨어 독립적 벤치마킹을 촉진하기 위해.
• 향후 하드웨어가 확장됨에 따라 다른 양자 알고리즘으로의 확장도 지원할 수 있는 표준화된 평가 프레임워크를 구축하기 위해.
• 다양한 문제 인스턴스에서 일관되고 측정 가능한 성능 메트릭을 제공함으로써 양자 시뮬레이터와 하드웨어 간의 공정한 비교를 가능하게 하기 위해.

제안 방법

• 벤치마크는 하이브리드 고전-양자 루프에서 고전 최적화가 QAOA 파라미터를 조정하는 방식으로 작동하는 QAOA를 핵심 양자 알고리즘으로 사용한다.
• 자원 요구량을 다양화하기 위해 MaxCut, 지배 집합, 여행행렬 문제의 세 가지 NP-난이도 최적화 문제를 사용하여 성능을 평가한다.
• 벤치마크는 XACC 라이브러리를 사용하여 IBM 양자 장치와 여러 시뮬레이터에서 하드웨어 독립적으로 실행 가능하도록 구현되었다.
• 성능 메트릭으로는 양자 회로의 깊이, 총 런타임(양자 + 고전), 고전 기반 기준값 대비 해의 정확도가 포함된다.
• 성능과 안정성에 기반하여 QAOA 구현의 성숙도를 평가하기 위해 Quantum Technology Readiness Level (QTRL)이 도입되었다.
• 파라미터 튜닝을 지원하며, 향후 VQE, 쇼어의 알고리즘, 그로버의 알고리즘으로의 확장성도 가능하도록 설계되었다.

실험 결과

연구 질문

• RQ1 저수준 게이트 메트릭을 넘어서 실용적 응용 성능을 평가할 수 있는 NISQ 양자 컴퓨터를 위한 유니버설 벤치마크는 어떻게 설계할 수 있는가?
• RQ2 고전 최적화기의 선택과 QAOA 깊이가 양자 최적화에서 해의 정확도와 런타임에 어떤 영향을 미치는가?
• RQ3 하이브리드 양자-고전 워크로드에서 원격 고전 백엔드(예: IBM의 런타임 환경)를 사용할 경우 어떤 성능 향상이 기대될 수 있는가?
• RQ4 동일한 QAOA 벤치마크를 실행할 때, 다양한 양자 시뮬레이터는 문제 크기가 변화함에 따라 어떻게 성능을 비교할 수 있는가?
• RQ5 현재 양자 하드웨어와 시뮬레이터에서 QAOA 기반 최적화 워크로드를 실행할 때 주요 성능 저하 요인은 무엇인가?

주요 결과

• 원격 고전 컴퓨터를 사용하는 IBM의 런타임 환경을 적용할 경우, 종합 실행 시간이 크게 단축되어 24배의 성능 향상을 관측하였다.
• 더 큰 문제 크기(≥13 큐비트)에서는 QASM 시뮬레이터가 다른 시뮬레이터보다 뛰어난 성능을 보였고, qsim은 작은 인스턴스에서는 뛰어났지만 런타임 증가율이 더 높았다.
• XACC 라이브러리를 활용하여 IBM 양자 프로세서와 시뮬레이터 여러 대에서 하드웨어 독립적 평가가 성공적으로 수행되었다.
• 파라미터 튜닝은 여전히 주요 과제로 남아 있으며, 이 구현에서는 β 및 γ 파라미터의 집중 현상이 관측되지 않았지만, 이러한 방법들은 훈련 효율성을 향상시킬 것으로 기대된다.
• 현재 QAOA 구현은 자원 최적화가 되어 있지 않아 회로 깊이와 큐비트 사용 측면에서 향상 여지가 있다.
• 병렬 고전 최적화 지원은 가능하며, 하드웨어가 더 큰 문제 인스턴스를 지원할 수록 상당한 성능 향상을 이끌 수 있다.