[论文解读] Model-free optimization of power/efficiency tradeoffs in quantum thermal machines using reinforcement learning

Paolo Andrea Erdman, Frank Noé|arXiv (Cornell University)|Apr 10, 2022

Advanced Thermodynamics and Statistical Mechanics被引用 6

一句话总结

该论文提出了一种无模型强化学习框架，可在无需了解系统哈密顿量、量子态或循环结构的情况下，优化量子热机的能效权衡。该方法仅依赖于测量到的热流，即可发现帕累托最优循环，其性能优于以往方法，包括优化的奥托循环，在超导量子比特和简谐振子基量子发动机与制冷机中均显著降低了量子摩擦。

ABSTRACT

A quantum thermal machine is an open quantum system that enables the conversion between heat and work at the micro or nano-scale. Optimally controlling such out-of-equilibrium systems is a crucial yet challenging task with applications to quantum technologies and devices. We introduce a general model-free framework based on Reinforcement Learning to identify out-of-equilibrium thermodynamic cycles that are Pareto optimal trade-offs between power and efficiency for quantum heat engines and refrigerators. The method does not require any knowledge of the quantum thermal machine, nor of the system model, nor of the quantum state. Instead, it only observes the heat fluxes, so it is both applicable to simulations and experimental devices. We test our method on a model of an experimentally realistic refrigerator based on a superconducting qubit, and on a heat engine based on a quantum harmonic oscillator. In both cases, we identify the Pareto-front representing optimal power-efficiency tradeoffs, and the corresponding cycles. Such solutions outperform previous proposals made in the literature, such as optimized Otto cycles, reducing quantum friction.

研究动机与目标

• 开发一种通用的无模型方法，以在不预先知晓系统哈密顿量或量子态的情况下，优化量子热机（QTMs）。
• 解决有限时间、非平衡态量子循环中功率与效率之间的多目标优化挑战。
• 仅使用可测量的热流作为反馈，实现对模拟和真实实验量子热机的优化。
• 发现帕累托最优循环，实现高功率与高效率的平衡，避免传统绝热或固定循环假设的局限性。
• 通过识别最小化相干性诱导损耗的控制协议，减少量子热机中的量子摩擦效应。

提出的方法

• 采用具有连续和离散动作的软演员-评论家（SAC）强化学习算法，以优化时变控制协议。
• 仅使用来自热源和冷源的热流（JH(t), JC(t)）作为环境反馈，使该方法无模型且实验可实现。
• 将量子系统视为黑箱，无需了解系统哈密顿量、量子态或内部动力学。
• 同时优化多个目标——功率与效率，从而实现对完整帕累托前沿的发现。
• 强化学习智能体通过与环境交互学习控制策略，其中动作包括调节系统参数（如能级间距）以及选择耦合至哪个热源。
• 该方法具有通用性，适用于量子和经典随机热机，前提是可测量热流。

实验结果

研究问题

• RQ1 无模型强化学习方法是否能在不预先了解系统的情况下，发现量子热机中最佳的能效权衡？
• RQ2 与已知基准（如奥托循环）相比，RL识别的循环在功率和效率方面表现如何？
• RQ3 该方法在多大程度上可缓解非平衡态量子循环中的量子摩擦？
• RQ4 该方法能否发现复杂、非传统的循环结构，使其在热机和制冷机中均优于标准协议？
• RQ5 仅使用热流测量是否可能实现接近帕累托最优的性能，而无需监测量子态？

主要发现

• 该方法成功识别出超导量子比特制冷机和量子简谐振子热机的完整帕累托最优能效权衡前沿。
• 所发现的循环显著优于优化的奥托循环及其他先前提案，大幅降低了量子摩擦效应。
• 在超导量子比特制冷机中，RL优化的循环在未获知系统哈密顿量的情况下，实现了比以往方法更高的制冷功率和更好的效率。
• 对于简谐振子热机，该方法找到了复杂、非绝热的控制协议，在保持高效率的同时提升了功率输出。
• 该方法在性能上与先前需要完整量子态监测的强化学习方法相当，但以无模型、实验可行的方式实现。
• 结果表明，仅使用热流反馈即可发现高性能、非平凡的控制循环，适用于量子热机。