[论文解读] Machine learning engineering of quantum currents

Tobias Haug, Rainer Dumke+3 more|arXiv (Cornell University)|Nov 21, 2019

Quantum Computing Algorithms and Architecture被引用 1

一句话总结

本文提出一种深度强化学习（DRL）框架，用于在具有集中参数的环形量子电路中工程化高保真度的量子电流态。通过训练智能体以优化时变局域势，该方法实现了对持久电流——包括单圈和纠缠多圈态——的鲁棒制备，其保真度和可扩展性优于传统协议。

ABSTRACT

The design, accurate preparation and manipulation of quantum states in quantum circuits are essential operational tasks at the heart of quantum technologies. Nowadays, circuits can be designed with physical parameters that can be controlled with unprecedented accuracy and flexibility. However, the generation of well-controlled current states is still a nagging bottleneck, especially when different circuit elements are integrated together. In this work, we show how machine learning can effectively address this challenge and outperform the current existing methods. To this end, we exploit deep reinforcement learning to prepare prescribed quantum current states in circuits composed of lumped elements. To highlight our method, we show how to engineer bosonic persistent currents as they are relevant in different quantum technologies as cold atoms and superconducting circuits. We demonstrate the use of deep reinforcement learning to re-discover established protocols, as well as solve configurations that are difficult to treat with other methods. With our approach, quantum current states characterised by a single winding number or entangled currents of multiple winding numbers can be prepared in a robust manner, superseding the existing protocols.

研究动机与目标

• 解决在具有复杂拓扑结构或多个绕组数的集成量子电路中生成高度可控的量子电流态这一长期挑战。
• 克服现有协议在处理纠缠电流态或需要不切实际的控制序列方面的局限性。
• 证明机器学习在制备高保真度和鲁棒性量子电流态方面可超越传统控制方法。
• 为包括冷原子和超导电路在内的多种平台设计快速、可扩展且灵活的量子电流态控制协议。
• 在既有和新型配置上验证该方法，包括重新发现已知协议以及求解此前难以处理的系统。

提出的方法

• 采用深度强化学习（DRL）结合近端策略优化（PPO）算法，训练人工智能智能体以优化时变控制协议。
• 将量子系统建模为具有 L 个站点的环形晶格，其中在离散时间步 tn 处施加可调局域势 Pm(t)，每个站点承载一个玻色子粒子。
• 使用深度神经网络，输入状态 s(tn) 包含过去的势序列，通过策略网络输出下一步的势 Pm(tn)。
• 将奖励函数定义为态保真度 ⟨Ψ|Ô|Ψ⟩，其中 Ô 是测量目标电流态的可观测量，使智能体能够学习最优控制序列。
• 实施评论家网络以估计未来预期奖励，通过基于值的自举法实现稳定训练。
• 使用回放缓冲区存储并采样转移元组（状态、动作、奖励、下一状态），以在多个训练周期内实现高效且稳定的策略优化。

实验结果

研究问题

• RQ1 深度强化学习能否在具有集中参数的环形量子电路中有效生成高保真度的量子电流态？
• RQ2 DRL 框架能否重新发现已知的持久电流控制协议，从而验证其可靠性？
• RQ3 该方法能否制备传统控制技术无法实现的、具有多个绕组数的纠缠电流态？
• RQ4 该 DRL 基协议在粒子数、相互作用强度和协议持续时间等不同系统参数下具有多强的鲁棒性？
• RQ5 该方法在包括冷原子和超导电路在内的不同物理平台之间具有多大程度的可泛化能力？

主要发现

• DRL 框架成功重新发现已建立的单圈持久电流控制协议，证实其与已知物理解的一致性。
• 该方法在 20 次重复运行中均实现了平均保真度超过 0.95 的高保真度量子电流态制备，即使在复杂配置下亦成立。
• 对于 Np = 3 个粒子和 L = 12 个站点的系统，该协议在不同协议长度（NT = 4 至 12）下均保持高性能，保真度维持在 0.85 以上。
• 该框架实现了具有多个绕组数的纠缠电流态制备，而这是标准控制方法无法实现的。
• 该算法对参数变化表现出鲁棒性，在相互作用强度 U 和协议持续时间 T 变化时性能下降极小。
• 使用回放缓冲区和 PPO 算法确保了在 1000 个训练周期内稳定收敛，且保真度随训练迭代稳步提升。