[论文解读] Manipulation of Spin Dynamics by Deep Reinforcement Learning Agent

Junjie Chen, Ming Xue|arXiv (Cornell University)|Jan 25, 2019

Constraint Satisfaction and Optimization参考文献 1被引用 6

一句话总结

本文提出一种基于近端策略优化（PPO）的深度强化学习（DRL）方法，用于优化自旋-1原子体系中制备双Fock态的控制场。DRL智能体在连续控制空间中学习到随机的、具有物理可解释性的策略，其性能优于传统绝热通道和贪婪方法，在噪声环境下表现出鲁棒性，并能跨粒子数实现良好泛化。

ABSTRACT

We implement the reinforcement learning agent for a spin-1 atomic system to prepare spin squeezed state from given initial state. Proximal policy gradient (PPO) algorithm is used to deal with continuous external control field and final optimized protocol is given by a stochastic policy. In both mean-field system and two-body quantum system, RL agent finds the optimal policies. In many-body quantum system, it also gives polices that outperform purely greedy policy and optimized adiabatic passage. These polices given by RL agent have good physical interpretability in phase space and may help us to understand quantum dynamics. In fact, RL could be highly versatile in quantum optimal control problems.

研究动机与目标

• 开发一种无需模型、数据驱动的多体系统量子自旋动力学最优控制方法。
• 克服传统最优控制方法在高维、非完全可控系统中的局限性。
• 利用深度强化学习提升自旋-1原子体系中双Fock态制备的保真度与速度。
• 增强策略在不同粒子数及噪声条件下的鲁棒性与泛化能力。
• 建立一个通用框架，将物理动力系统映射为标准强化学习任务。

提出的方法

• 将系统建模为马尔可夫决策过程（MDP），状态特征基于物理可观测量（如自旋布居数与相位）提取。
• 采用受深度确定性策略梯度（DDPG）启发的PPO算法，以处理连续控制场并学习随机策略。
• 动作空间表示为时间依赖的磁控场，状态空间通过集体自旋算符与相位信息定义。
• 设计密集型稀疏奖励函数以最大化态保真度，并通过奖励塑形提升学习效率。
• 使用经验回放与价值函数近似进行训练，实现长期累积奖励最大化。
• 训练过程中采用多种初始状态，以增强探索能力并避免希尔伯特空间中的局部最优。

实验结果

研究问题

• RQ1 深度强化学习能否在自旋-1体系中制备双Fock态时超越传统绝热与贪婪控制协议？
• RQ2 所学策略的物理可解释性如何从RL智能体对相空间的探索中自然涌现？
• RQ3 RL策略在不同粒子数间泛化的程度如何？其在噪声条件下的鲁棒性如何？
• RQ4 状态表示在实现物理可解释性与有效学习中起到何种作用？
• RQ5 如何在高维量子系统中增强探索能力，以避免次优策略？

主要发现

• 基于PPO的RL智能体在制备双Fock态时保真度超过0.999，优于经优化的绝热线性斜坡与纯贪婪策略。
• 使用随机初始状态训练得到的策略（πg）在N > 10的大系统中泛化能力优于仅基于单一初始状态训练的策略（πs）。
• RL策略对高斯白噪声（σ = 0.1|c₂|）具有鲁棒性，100条采样轨迹的保真度标准差较低。
• 控制协议具有清晰的物理可解释性：早期Rabi振荡，中期相位调制，最终冻结动力学。
• 智能体学习到短期与长期奖励之间的平衡，尽管初期进展较慢，但仍避免了贪婪行为。
• 使用物理可观测量作为状态特征，使策略能泛化至子空间（N < 10），并提升向更大系统迁移的能力。