[论文解读] Experimentally Realizing Efficient Quantum Control with Reinforcement Learning

Ming-Zhong Ai, Yongcheng Ding+8 more|arXiv (Cornell University)|Jan 22, 2021

Quantum Information and Cryptography被引用 7

一句话总结

该论文通过实验表明，深度强化学习（DRL）可在俘获的 171Yb+ 离子系统中实现快速、鲁棒且高保真的量子控制，性能可与绝热的快速路径（STA）相媲美，且无需模拟控制或预先设计的 STA 工程。DRL 代理学习到最优的数字脉冲序列，同时对拉比和失谐误差具有鲁棒性，为容错量子计算提供了一种可扩展的框架。

ABSTRACT

Robust and high-precision quantum control is crucial but challenging for scalable quantum computation and quantum information processing. Traditional adiabatic control suffers severe limitations on gate performance imposed by environmentally induced noise because of a quantum system's limited coherence time. In this work, we experimentally demonstrate an alternative approach {to quantum control} based on deep reinforcement learning (DRL) on a trapped $^{171}\mathrm{Yb}^{+}$ ion. In particular, we find that DRL leads to fast and robust {digital quantum operations with running time bounded by shortcuts to adiabaticity} (STA). Besides, we demonstrate that DRL's robustness against both Rabi and detuning errors can be achieved simultaneously without any input from STA. Our experiments reveal a general framework of digital quantum control, leading to a promising enhancement in quantum information processing.

研究动机与目标

• 开发一种与当前量子计算架构兼容的可扩展数字量子控制框架。
• 克服俘获离子系统中绝热控制的局限性，如长门操作时间与退相干问题。
• 在不依赖绝热快速路径（STA）技术的前提下，实现对拉比和失谐误差的鲁棒性。
• 证明强化学习可自主发现适用于量子门操作的最优数字脉冲序列。

提出的方法

• 通过近端策略优化（PPO）实现的深度强化学习（DRL）代理，学习生成量子门操作的最优数字脉冲序列。
• DRL 代理通过 QuTiP 与模拟的量子环境交互，以数值方式模拟两能级系统动力学。
• 代理的策略由一个包含三个全连接 ReLU 激活隐藏层的深度神经网络（DNN）表示，每层含 32 个神经元。
• 环境基于门保真度提供稀疏奖励，代理通过优化最大累积折扣奖励来提升性能。
• DRL 框架在支持 CPU/GPU 的设置下使用 TensorForce 库和 TensorFlow 训练。
• 实验验证在俘获的 171Yb+ 离子平台上完成，通过荧光探测和光子计数实现态制备与测量。

Figure 1: (color online) Experimental sequences and model wave-forms. (a) Optimized detuning with time under STA method. The time is normalized to $[0,1]$ . (b) Optimized detuning with time under DRL method. The time is normalized to $[0,1]$ . (c) Energy level of ${}^{171}\textrm{Yb}^{+}$ ion. (d) E

实验结果

研究问题

• RQ1 深度强化学习能否在无需模拟控制或预先设计 STA 的前提下，学习到与 STA 同样鲁棒的数字量子控制脉冲？
• RQ2 与传统方法相比，DRL 控制在同时存在拉比和失谐误差时的性能如何？
• RQ3 DRL 代理是否能在控制设计中不显式进行误差缓解或优化的情况下，泛化到高保真度量子门？
• RQ4 在真实俘获离子量子处理器上实现时，DRL 在门保真度和鲁棒性方面的表现如何？

主要发现

• DRL 代理成功学习到数字脉冲序列，在模拟中实现了超过 99.5% 保真度的高保真度量子门。
• DRL 控制脉冲在不进行任何显式误差工程或基于 STA 的设计前提下，同时表现出对拉比和失谐误差的鲁棒性。
• 该方法在门速度和鲁棒性方面实现了与绝热快速路径（STA）相当的性能，但完全通过纯数字、离散脉冲优化实现。
• 在俘获的 171Yb+ 离子系统上的实验实现验证了 DRL 生成控制序列的可行性与高保真度。
• DRL 框架实现了约 (ε_B + ε_D)/2 的总误差率，其中 ε_B 和 ε_D 分别代表态探测中的误识别概率。
• 该方法为数字量子控制提供了一种通用且可扩展的框架，天然兼容当前的量子计算架构。

Figure 2: (color online) Noise robustness comparison of $\pi$ pulse, STA and DRL methods in single-qubit X gate task. (a) and (b) The performance of three control methods under different $\Omega$ and $\Delta$ errors respectively. The DRL method is as robust as STA method in most cases, except in big