[论文解读] Compiler Optimization for Quantum Computing Using Reinforcement Learning

Nils Quetschlich, Lukas Burgholzer+1 more|arXiv (Cornell University)|Dec 8, 2022

Quantum Computing Algorithms and Architecture参考文献 35被引用 4

一句话总结

本文提出了一种强化学习框架，将量子电路编译建模为马尔可夫决策过程（MDP），实现了对最优优化流程序列的自动学习。通过使用标准化接口和约束条件，统一整合来自Qiskit和TKET的多种编译流程，该框架在预期保真度方面优于两个独立编译器73%的案例，在关键深度方面优于84%的案例，在综合指标方面优于75%的案例。

ABSTRACT

Any quantum computing application, once encoded as a quantum circuit, must be compiled before being executable on a quantum computer. Similar to classical compilation, quantum compilation is a sequential process with many compilation steps and numerous possible optimization passes. Despite the similarities, the development of compilers for quantum computing is still in its infancy -- lacking mutual consolidation on the best sequence of passes, compatibility, adaptability, and flexibility. In this work, we take advantage of decades of classical compiler optimization and propose a reinforcement learning framework for developing optimized quantum circuit compilation flows. Through distinct constraints and a unifying interface, the framework supports the combination of techniques from different compilers and optimization tools in a single compilation flow. Experimental evaluations show that the proposed framework -- set up with a selection of compilation passes from IBM's Qiskit and Quantinuum's TKET -- significantly outperforms both individual compilers in 73% of cases regarding the expected fidelity. The framework is available on GitHub (https://github.com/cda-tum/MQTPredictor) as part of the Munich Quantum Toolkit (MQT).

研究动机与目标

• 解决缺乏标准化、灵活且自适应的量子编译器流程所导致的性能与互操作性受限问题。
• 克服主流量子软件开发工具包（如Qiskit和TKET）中因厂商锁定而导致的新优化技术采纳缓慢的问题。
• 通过将编译过程建模为可学习的过程而非固定优化级别，实现动态且可自定义的优化目标。
• 借鉴数十年来经典编译器研究的成果——特别是通过强化学习实现的阶段排序方法——并将其适配至量子领域。
• 开发一种与平台无关、可扩展的框架，集成来自多个量子编译器和工具的优化流程。

提出的方法

• 将量子电路编译过程建模为马尔可夫决策过程（MDP），其中状态表示电路配置，动作为应用优化流程，奖励基于保真度和关键深度等目标指标。
• 定义统一接口与独立约束，确保来自不同工具（如Qiskit和TKET）的编译流程在组合时保持兼容性与正确性。
• 使用深度强化学习（具体为策略梯度方法）训练智能体，以选择给定输入电路的最优优化流程序列。
• 设计一个结合预期保真度与关键深度的奖励函数，引导智能体生成高质量、低深度且高精度的电路。
• 将该框架作为Munich Quantum Toolkit（MQT）的一部分实现，通过GitHub公开，支持可扩展性与与现有工具的集成。
• 通过支持增量扩展，允许新流程在符合接口与约束检查的前提下被添加。

实验结果

研究问题

• RQ1 强化学习能否有效学习跨异构编译工具的量子电路优化流程最优序列？
• RQ2 将Qiskit与TKET的流程统一整合的框架，在保真度与电路深度方面，能在多大程度上优于这些工具的原生编译流程？
• RQ3 该框架在整合来自不同量子软件栈的多样化优化技术时，如何处理兼容性与正确性问题？
• RQ4 该框架能否在不硬编码固定优化级别的情况下，适应用户自定义的优化目标（如最小化电路深度或最大化保真度）？
• RQ5 该方法在不同量子电路与硬件目标上的可扩展性与泛化能力如何？

主要发现

• 所提出的强化学习框架在73%的测试案例中，于预期保真度方面优于IBM的Qiskit与Quantinuum的TKET。
• 在关键深度方面，该框架在84%的案例中表现更优，表明其具备更强的电路深度压缩能力。
• 当将保真度与深度联合作为综合指标时，该框架在75%的案例中优于两个独立编译器。
• 该框架通过统一接口与约束系统，成功将Qiskit与TKET的优化流程整合为单一、连贯的编译流程。
• 该方法实现了动态且可自定义的优化流程，可根据用户定义的目标进行调整，克服了现有SDK中固定优化级别带来的局限性。
• 该框架具备可扩展性与平台无关性，代码作为Munich Quantum Toolkit（MQT）的一部分在GitHub上公开，促进了技术采纳与进一步研究。