[논문 리뷰] MQT Bench: Benchmarking Software and Design Automation Tools for Quantum Computing

Nils Quetschlich, Lukas Burgholzer외 1명|arXiv (Cornell University)|2022. 04. 28.

Quantum Computing Algorithms and Architecture인용 수 5

한 줄 요약

이 논문은 알고리즘 수준에서 하드웨어 매핑된 회로에 이르기까지 네 가지 추상화 수준을 지원하는 양자 소프트웨어 도구를 위한 종합적인 벤치마크 세트인 MQT Bench를 소개한다. 이는 다중 수준 평가를 가능하게 하며, 여러 컴파일러, 게이트 세트, 장치를 통해 70,000개 이상의 벤치마크 회로를 제공한다. 웹 인터페이스와 파이썬 패키지를 통해 접근 가능하며, 양자 도구 평가의 비교 가능성, 재현 가능성, 투명성을 크게 향상시킨다.

ABSTRACT

Quantum software tools for a wide variety of design tasks on and across different levels of abstraction are crucial in order to eventually realize useful quantum applications. This requires practical and relevant benchmarks for new software tools to be empirically evaluated and compared to the current state of the art. Although benchmarks for specific design tasks are commonly available, the demand for an overarching cross-level benchmark suite has not yet been fully met and there is no mutual consolidation in how quantum software tools are evaluated thus far. In this work, we propose the MQT Bench benchmark suite (as part of the Munich Quantum Toolkit, MQT) based on four core traits: (1) cross-level support for different abstraction levels, (2) accessibility via an easy-to-use web interface (https://www.cda.cit.tum.de/mqtbench) and a Python package, (3) provision of a broad selection of benchmarks to facilitate generalizability, as well as (4) extendability to future algorithms, gate-sets, and hardware architectures. By comprising more than 70,000 benchmark circuits ranging from 2 to 130 qubits on four abstraction levels, MQT Bench presents a first step towards benchmarking different abstraction levels with a single benchmark suite to increase comparability, reproducibility, and transparency.

연구 동기 및 목표

• 다양한 추상화 수준에서 양자 소프트웨어 도구를 평가하기 위한 표준화되고 다중 수준의 벤치마크가 부족한 문제를 해결한다.
• 양자 설계 자동화 도구의 경험적 평가에서 비교 가능성, 재현 가능성, 투명성을 향상시킨다.
• 진행 중인 양자 아키텍처, 게이트 세트, 알고리즘을 지원하는 확장 가능하고 유연한 벤치마크 세트를 제공한다.
• 웹 포털과 파이썬 패키지 등 접근성 있는 인터페이스를 통해 실용적 도입을 가능하게 한다.
• 전체 양자 소프트웨어 스택을 대상으로 분 敵산된 벤치마크 관행을 하나의 통합 프레임워크로 통합한다.

제안 방법

• 알고리즘 수준, 분해된 수준, 매핑된 수준, 네이티브 게이트 수준의 네 가지 추상화 수준을 가진 벤치마크 세트를 설계한다.
• QFT, 그로버 알고리즘, 기타 기본 구성 요소를 포함한 다양한 양자 알고리즘에서 유래한 벤치마크 회로를 여러 컴파일러(Qiskit, TKET)를 통해 생성한다.
• 다양한 네이티브 게이트 세트와 대상 장치(8에서 130 큐비트까지)를 지원하며, 장치별 매핑을 통해 하드웨어 관련성을 확보한다.
• 웹 인터페이스와 파이썬 패키지를 구현하여 간편한 접근, 필터링, 즉시 생성 기능을 제공한다.
• 새로운 알고리즘, 게이트 세트, 하드웨어 아키텍처의 통합을 가능하게 하기 위해 벤치마크 파이프라인을 확장 가능하도록 설계한다.
• 계산 시간을 줄이기 위해 사전에 벤치마크를 생성하고 저장하면서도, 동적 검색에 대한 유연성을 유지한다.

실험 결과

연구 질문

• RQ1 하나의 벤치마크 세트가 양자 회로 설계에서 여러 추상화 수준에 걸쳐 의미 있는 평가를 어떻게 지원할 수 있는가?
• RQ2 기존의 분리된 벤치마크 세트와 비교할 때 MQT Bench는 양자 소프트웨어 도구 평가의 비교 가능성과 재현 가능성에 얼마나 기여하는가?
• RQ3 생성된 벤치마크 회로의 주요 특성은 무엇이며, 이는 실제 양자 알고리즘 워크로드를 어떻게 반영하는가?
• RQ4 MQT Bench 프레임워크는 향후 양자 하드웨어 및 소프트웨어 발전을 고려할 때 얼마나 확장 가능하고 유연한가?
• RQ5 컴파일러 선택(Qiskit 대비 TKET)은 벤치마크 생성 시간과 큐비트 수 분포에 어떤 영향을 미치는가?

주요 결과

• MQT Bench는 2에서 130 큐비트까지 네 가지 추상화 수준을 아우르는 70,000개 이상의 벤치마크 회로를 제공하여, 양자 소프트웨어 도구의 종합적 평가를 가능하게 한다.
• 하드웨어 가용성과 생성 시간 제약로 인해 큐비트 수가 증가할수록 벤치마크의 상대 빈도가 감소하는 경향을 보인다.
• TKET 컴파일러는 Qiskit에 비해 더 많은 시간이 소요되어, 특히 대상 의존적 매핑 수준에서 생성된 벤치마크 수가 적었다.
• 매핑 수준의 벤치마크 분포는 하드웨어 가용성 반영하며, 더 큰 장치(예: 127큐비트)가 더 많은 벤치마크를 확보한다.
• 성능 분석을 위한 세부 분석이 가능한 여섯 가지 핵심 회로 특성(프로그램 통신, 임계 깊이, 얽힘 비율, 라이브니스, 병렬성, 다큐비트 게이트 비율)을 포함한다.
• 웹 인터페이스와 파이썬 패키지는 벤치마크의 효율적이고 즉각적인 접근 및 필터링을 가능하게 하여 사용성과 도입 가능성에 크게 기여한다.