[论文解读] Deep reinforcement learning for quantum Hamiltonian engineering

Pai Peng, Xiaoyang Huang+4 more|arXiv (Cornell University)|Feb 25, 2021

Quantum many-body systems被引用 4

一句话总结

该论文提出了一种深度强化学习（DRL）框架，用于发现用于解耦自旋-1/2体系的最优量子哈密顿量工程序列，在固态核磁共振平台的模拟与实验中，其性能优于传统的Cory48序列。该方法在真实实验缺陷下学习鲁棒脉冲序列，揭示了一种此前未知的对称控制模式，实现了系统的序列优化并提升了保真度，尤其在长时间尺度下表现更优。

ABSTRACT

Engineering desired Hamiltonian in quantum many-body systems is essential for applications such as quantum simulation, computation and sensing. Conventional quantum Hamiltonian engineering sequences are designed using human intuition based on perturbation theory, which may not describe the optimal solution and is unable to accommodate complex experimental imperfections. Here we numerically search for Hamiltonian engineering sequences using deep reinforcement learning (DRL) techniques and experimentally demonstrate that they outperform celebrated sequences on a solid-state nuclear magnetic resonance quantum simulator. As an example, we aim at decoupling strongly-interacting spin-1/2 systems. We train DRL agents in the presence of different experimental imperfections and verify robustness of the output sequences both in simulations and experiments. Surprisingly, many of the learned sequences exhibit a common pattern that had not been discovered before, to our knowledge, but has an meaningful analytical description. We can thus restrict the searching space based on this control pattern, allowing to search for longer sequences, ultimately leading to sequences that are robust against dominant imperfections in our experiments. Our results not only demonstrate a general method for quantum Hamiltonian engineering, but also highlight the importance of combining black-box artificial intelligence with understanding of physical system in order to realize experimentally feasible applications.

研究动机与目标

• 克服基于直觉和微扰方法在设计多体系统最优量子控制序列方面的局限性。
• 开发一种无需模型、数据驱动的方法，以处理复杂实验缺陷和非可积动力学。
• 展示DRL学习序列在真实固态NMR系统中的实验可行性与优越性。
• 在学习到的序列中发现隐藏的结构模式，以实现系统的扩展并增强对主要缺陷的鲁棒性。

提出的方法

• 训练一个深度强化学习智能体，生成脉冲序列以在具有偶极相互作用的模拟自旋-1/2体系中最大化目标演化（如解耦）的保真度。
• DRL智能体在马尔可夫决策过程中运行，其中状态编码当前自旋体系的演化，动作对应施加特定脉冲（如x、y轴上的π/2旋转等）。
• 环境模拟器在每次动作后计算时间演化算符（传播子），智能体根据与理想恒等演化之间的保真度接收密集奖励。
• 智能体在各种实验缺陷（如角度误差、漂移等）下进行训练，以确保鲁棒性，所得序列在模拟和300 MHz NMR波谱仪上均得到验证。
• 训练后应用基于对称性的分析，以识别并利用一种共同的结构模式（如具有z轴旋转不变性的对称脉冲序列），从而实现序列扩展和更高阶误差抵消。
• 该方法利用平均哈密顿量理论（AHT）对学习到的序列进行解析验证与优化，特别是通过序列对称性和相位偏移来抵消零阶和一阶误差项。

实验结果

研究问题

• RQ1 深度强化学习能否发现优于经典设计序列的量子控制序列，以实现对强相互作用自旋体系的解耦？
• RQ2 如何训练DRL以生成对真实实验缺陷（如角度误差和漂移）具有鲁棒性的序列？
• RQ3 DRL学习的序列是否表现出可被利用以实现解析理解与序列扩展的隐藏结构模式？
• RQ4 黑箱AI与物理洞察的结合能否带来更高效且实验可行的量子控制协议？

主要发现

• 在萤石和氟磷灰石上的模拟与实验中，DRL学习的yxx48序列在长期保真度方面优于基准的Cory48序列。
• 在粉末状金刚烷的实验中，yxx48序列在短时间与Cory48性能相当，而在更长时间下表现更优，显示出更高的鲁棒性。
• yxx24和yxx48序列在128个周期内均经实验验证保持高保真度，其中yxx48序列虽初始保真度较低，但表现出稳定性能。
• 在DRL学习的序列中发现了一种此前未知的对称控制模式——特征为z轴旋转不变性与镜像对称性——该模式可实现解析的序列扩展。
• 通过对Angle12序列中特定脉冲施加π相位跃迁，可抵消零阶平均哈密顿量，从而得到改进的Angle12序列，实现更优的误差抑制。
• 将对称化并改进的Angle12序列通过π相位跃迁加倍后，可得到yxx24序列，其零阶与一阶平均哈密顿量均趋于零，证实其具有高阶误差抑制能力。