[论文解读] Machine Learning Meets Quantum State Preparation. The Phase Diagram of Quantum Control

Marin Bukov, Alexandre G. R. Day+4 more|arXiv (Cornell University)|May 1, 2017

Advanced Thermodynamics and Statistical Mechanics被引用 4

一句话总结

该论文将先进的强化学习（RL）应用于非可积多体系统中相互作用量子比特的量子态制备优化，仅使用模拟中的保真度作为标量奖励。研究揭示了协议空间中类似自旋玻璃的相变，并表明RL即使在指数级困难的区域也能实现近乎最优的保真度，优于传统方法。

ABSTRACT

The ability to prepare a physical system in a desired quantum state is central to many areas of physics such as nuclear magnetic resonance, cold atoms, and quantum computing. Yet, preparing states quickly and with high fidelity remains a formidable challenge. In this work we implement cutting-edge Reinforcement Learning (RL) techniques and show that their performance is comparable to optimal control methods in the task of finding short, high-fidelity driving protocol from an initial to a target state in non-integrable many-body quantum systems of interacting qubits. RL methods learn about the underlying physical system solely through a single scalar reward (the fidelity of the resulting state) calculated from numerical simulations of the physical system. We further show that quantum state manipulation, viewed as an optimization problem, exhibits a spin-glass-like phase transition in the space of protocols as a function of the protocol duration. Our RL-aided approach helps identify variational protocols with nearly optimal fidelity, even in the glassy phase, where optimal state manipulation is exponentially hard. This study highlights the potential usefulness of RL for applications in out-of-equilibrium quantum physics.

研究动机与目标

• 解决在非可积多体系统中相互作用量子比特的快速、高保真度量子态制备挑战。
• 探究强化学习是否能在不了解系统动力学的前提下，高效发现最优控制协议。
• 探索量子控制协议空间中是否存在类似于自旋玻璃相变的相变。
• 识别保真度接近最优的变分协议，特别是在最优控制变得指数级困难的区域。

提出的方法

• 使用仅基于数值模拟中计算出的态保真度导出的标量奖励进行训练的深度强化学习智能体。
• 采用连续控制策略网络生成系统哈密顿量的时间依赖驱动协议。
• 映射控制协议空间，以识别高保真度和低保真度区域，揭示了类似于自旋玻璃系统的相变。
• 应用变分协议搜索，在优化呈指数级困难的玻璃相中识别出高保真度序列。
• 在不同系统尺寸和相互作用强度下，以协议时长和保真度为指标，对RL性能与最优控制方法进行基准测试。
• 通过协议敏感性与能量景观粗糙度的统计度量，分析控制景观结构以检测玻璃态行为。

实验结果

研究问题

• RQ1 强化学习是否能在不了解系统动力学的前提下，在非可积多体系统中发现高保真度的量子控制协议？
• RQ2 量子控制协议空间是否表现出类似于自旋玻璃系统的相变？若存在，其如何影响优化难度？
• RQ3 在保真度和协议时长方面，RL的性能与最优控制方法相比如何？
• RQ4 在优化呈指数级困难的玻璃相中，RL是否能识别出保真度接近最优的变分协议？
• RQ5 控制景观中的哪些结构特征与量子态制备中玻璃态行为的出现相关？

主要发现

• 强化学习在复杂、非可积多体系统（如相互作用的量子比特）中实现了与最优控制方法相当的态制备保真度。
• 在控制协议空间中识别出类似自旋玻璃的相变，标志着最优态操控变得指数级困难的区域。
• 玻璃相随协议时长而出现，且在临界时长阈值处优化难度急剧上升。
• RL在玻璃相中成功识别出保真度接近最优的变分协议，展现出在精确方法失效时的鲁棒性。
• RL性能在不同系统尺寸和相互作用强度下均保持稳健，表明其对多样化量子系统具有泛化能力。
• 仅使用标量保真度奖励即可使RL学习到有效的控制策略，凸显该方法的数据效率与实用性。