[논문 리뷰] Compiler Optimization for Quantum Computing Using Reinforcement Learning

Nils Quetschlich, Lukas Burgholzer외 1명|arXiv (Cornell University)|2022. 12. 08.

Quantum Computing Algorithms and Architecture참고 문헌 35인용 수 4

한 줄 요약

이 논문은 양자 회로 컴파일을 마르코프 결정 과정(MDP)으로 모델링하는 강화 학습 프레임워크를 제안한다. 이는 최적의 최적화 패ass 시퀀스를 자동으로 학습할 수 있도록 한다. Qiskit와 TKET의 다양한 컴파일 패스를 표준화된 인터페이스와 제약 조건을 통해 통합함으로써, 예상 편향, 임계 깊이, 종합 지표에서 각각 73%, 84%, 75%의 경우에서 기존 컴파일러들보다 뛰어난 성능을 달성한다.

ABSTRACT

Any quantum computing application, once encoded as a quantum circuit, must be compiled before being executable on a quantum computer. Similar to classical compilation, quantum compilation is a sequential process with many compilation steps and numerous possible optimization passes. Despite the similarities, the development of compilers for quantum computing is still in its infancy -- lacking mutual consolidation on the best sequence of passes, compatibility, adaptability, and flexibility. In this work, we take advantage of decades of classical compiler optimization and propose a reinforcement learning framework for developing optimized quantum circuit compilation flows. Through distinct constraints and a unifying interface, the framework supports the combination of techniques from different compilers and optimization tools in a single compilation flow. Experimental evaluations show that the proposed framework -- set up with a selection of compilation passes from IBM's Qiskit and Quantinuum's TKET -- significantly outperforms both individual compilers in 73% of cases regarding the expected fidelity. The framework is available on GitHub (https://github.com/cda-tum/MQTPredictor) as part of the Munich Quantum Toolkit (MQT).

연구 동기 및 목표

• 성능과 상호운용성에 악영향을 미치는 표준화되고 유연하며 적응 가능한 양자 컴파일러 플로우의 부족을 해결한다.
• Qiskit와 TKET과 같은 주요 양자 SDK에서 신규 최적화 기법의 도입이 느리고 제조업체에 종속되는 문제를 해결한다.
• 고정된 최적화 수준이 아닌 학습 가능한 과정으로 컴파일을 모델링함으로써 동적이고 사용자 정의 가능한 최적화 목표를 가능하게 한다.
• 특히 단계 순서 조정을 위한 강화 학습 기반의 고전 컴파일러 연구의 수십 년에 걸친 성과를 양자 도메인에 적응시킨다.
• 다양한 양자 컴파일러와 도구의 최적화 패스를 통합하는 플랫폼 독립적이고 확장 가능한 프레임워크를 개발한다.

제안 방법

• 상태가 회로 구성으로 표현되고, 행동이 최적화 패스 적용이며, 보상이 편향과 임계 깊이와 같은 목표 지표에 기반하는 마르코프 결정 과정(MDP)으로 양자 회로 컴파일 과정을 모델링한다.
• 다른 도구(예: Qiskit와 TKET)에서 온 최적화 패스를 통합할 때 호환성과 정확성을 보장하기 위해 통합 인터페이스와 고유한 제약 조건을 정의한다.
• 딥 강화 학습(특히 정책 기반 방법)을 사용하여 주어진 입력 회로에 대해 최적의 최적화 패스 순서를 선택하는 에이전트를 훈련시킨다.
• 에이전트가 고성능, 낮은 깊이, 정확한 회로로 향하도록 예상 편향과 임계 깊이를 조합한 보상 함수를 설계한다.
• 프레임워크를 뮌헨 양자 툴킷(MQT)의 일부로 구현하여 GitHub를 통해 공개함으로써 확장성과 기존 도구와의 통합을 가능하게 한다.
• 새로운 패스가 인터페이스와 제약 조건 검사를 준수하는 한, 점진적인 확장을 지원한다.

실험 결과

연구 질문

• RQ1 강화 학습은 이질적인 컴파일러 도구들 간의 양자 회로 최적화 패스 최적 순서를 효과적으로 학습할 수 있는가?
• RQ2 Qiskit와 TKET의 패스를 통합한 통합 프레임워크가 이들 도구의 내장 컴파일 플로우에 비해 편향과 회로 깊이 측면에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ3 다양한 최적화 기법을 포함하는 다양한 양자 소프트웨어 스택을 통합할 때 프레임워크는 호환성과 정확성을 어떻게 확보하는가?
• RQ4 고정된 최적화 수준을 하드코딩하지 않고도 사용자 정의 최적화 목표(예: 회로 깊이 최소화 또는 편향 최대화)에 적응할 수 있는가?
• RQ5 이 접근법은 다양한 양자 회로와 하드웨어 타겟에 대해 얼마나 확장 가능하고 일반화 가능한가?

주요 결과

• 제안된 강화 학습 프레임워크는 기대 편향 측면에서 IBM의 Qiskit와 Quantinuum의 TKET을 73%의 경우에서 능가한다.
• 임계 깊이 측면에서 84%의 경우에서 뛰어난 결과를 달성하여 더 낮은 회로 깊이를 구현함을 시사한다.
• 편향과 깊이를 종합 지표로 통합했을 때, 프레임워크는 75%의 경우에서 두 개의 개별 컴파일러를 모두 능가한다.
• 통합 인터페이스와 제약 체계를 통해 Qiskit와 TKET의 최적화 패스를 단일이고 일관된 컴파일 플로우로 성공적으로 통합했다.
• 기존 SDK에서 고정된 최적화 수준로 인한 한계를 극복하고, 사용자 정의 목표에 맞게 동적으로 맞춤화된 최적화 플로우를 가능하게 한다.
• 확장 가능하고 플랫폼 독립적인 프레임워크로서, 뮌헨 양자 툴킷(MQT)의 일부로 GitHub에 코드가 공개되어 있어 도입과 향후 연구를 촉진한다.