[论文解读] Curriculum-based Deep Reinforcement Learning for Quantum Control

Hailan Ma, Daoyi Dong+2 more|arXiv (Cornell University)|Dec 31, 2020

Quantum Information and Cryptography被引用 5

一句话总结

本文提出了一种基于课程学习的深度强化学习（CDRL）框架用于量子控制，通过按保真度阈值对任务进行排序，逐步增加难度。通过在任务间迁移知识，CDRL相较于标准DRL方法实现了更快的收敛速度、更高的控制保真度以及更少的控制脉冲，展现出在封闭与开放量子系统中的优越性能。

ABSTRACT

Deep reinforcement learning has been recognized as an efficient technique to design optimal strategies for different complex systems without prior knowledge of the control landscape. To achieve a fast and precise control for quantum systems, we propose a novel deep reinforcement learning approach by constructing a curriculum consisting of a set of intermediate tasks defined by a fidelity threshold. Tasks among a curriculum can be statically determined using empirical knowledge or adaptively generated with the learning process. By transferring knowledge between two successive tasks and sequencing tasks according to their difficulties, the proposed curriculum-based deep reinforcement learning (CDRL) method enables the agent to focus on easy tasks in the early stage, then move onto difficult tasks, and eventually approaches the final task. Numerical simulations on closed quantum systems and open quantum systems demonstrate that the proposed method exhibits improved control performance for quantum systems and also provides an efficient way to identify optimal strategies with fewer control pulses.

研究动机与目标

• 为解决深度强化学习（DRL）在复杂量子控制中收敛缓慢和稀疏奖励的挑战。
• 提升高维动力学与耗散特性量子系统中的学习效率与控制性能。
• 减少实现高保真度量子操作所需的控制脉冲数量。
• 探索课程学习作为在DRL中构建量子系统任务难度结构的方法。
• 在量子控制任务中超越传统的DRL、梯度下降（GD）和遗传算法（GA）基线方法。

提出的方法

• 利用一组由递增保真度阈值定义的中间任务构建课程，作为难度指标。
• 任务按保真度从低到高排序，使智能体在处理复杂任务前先学习简单控制策略。
• 通过共享策略网络在连续任务间实现知识迁移，提升样本效率与收敛速度。
• DRL智能体采用深度Q网络（DQN）架构，基于状态演化与保真度的稀疏奖励信号学习控制策略。
• 课程可基于经验知识静态定义，或在训练过程中根据学习进展自适应生成。
• 该方法在具有不同时间长度与控制场约束的封闭与开放四能级量子系统上进行了评估。

实验结果

研究问题

• RQ1 课程学习能否提升DRL在量子控制中的样本效率与收敛速度？
• RQ2 按递增保真度排序任务是否能带来更好的控制性能并减少控制脉冲数量？
• RQ3 CDRL在实现高保真度量子态制备方面，相较于标准DRL、梯度下降与遗传算法表现如何？
• RQ4 CDRL能否有效应对开放量子系统中稀疏奖励与复杂动力学的挑战？
• RQ5 基于课程的训练在多大程度上减少了实现高保真度操作所需的控制脉冲数量？

主要发现

• 在四能级开放量子系统中，CDRL在所有测试时间长度下均实现了高于DRL-1与DRL-2的最终控制保真度。
• CDRL显著减少了达到高保真度所需的控制脉冲数量，数值模拟显示每集平均步数更低。
• 随着时间长度增加，CDRL保持高性能，而DRL-1与DRL-2表现出显著性能下降。
• 在控制保真度与收敛速度方面，CDRL优于梯度下降（GD）与遗传算法（GA）。
• CDRL的平均奖励始终保持高水平且接近水平直线，表明学习过程稳定高效。
• CDRL在封闭与开放量子系统中均展现出强大的鲁棒性与效率，尤其在稀疏奖励条件下表现突出。