[论文解读] Learning to Do or Learning While Doing: Reinforcement Learning and Bayesian Optimisation for Online Continuous Tuning

Jan Kaiser, Chenran Xu+10 more|arXiv (Cornell University)|Jun 6, 2023

Reservoir Engineering and Simulation Methods被引用 5

一句话总结

本文比较了在真实世界粒子加速器中用于在线连续调优的强化学习训练优化（RLO）与贝叶斯优化（BO）。基于ARES加速器上的束流调优任务，研究结果表明，RLO在收敛速度和最终性能方面通常优于BO，尽管在噪声环境下BO表现出更好的稳定性，从而提出了一套用于复杂装置调优场景中算法选择的标准。

ABSTRACT

Online tuning of real-world plants is a complex optimisation problem that continues to require manual intervention by experienced human operators. Autonomous tuning is a rapidly expanding field of research, where learning-based methods, such as Reinforcement Learning-trained Optimisation (RLO) and Bayesian optimisation (BO), hold great promise for achieving outstanding plant performance and reducing tuning times. Which algorithm to choose in different scenarios, however, remains an open question. Here we present a comparative study using a routine task in a real particle accelerator as an example, showing that RLO generally outperforms BO, but is not always the best choice. Based on the study's results, we provide a clear set of criteria to guide the choice of algorithm for a given tuning task. These can ease the adoption of learning-based autonomous tuning solutions to the operation of complex real-world plants, ultimately improving the availability and pushing the limits of operability of these facilities, thereby enabling scientific and engineering advancements.

研究动机与目标

• 评估并比较强化学习训练优化（RLO）与贝叶斯优化（BO）在复杂物理系统真实世界在线连续调优中的性能。
• 识别在存在测量噪声、时间约束和动态系统行为等现实条件下的RLO与BO的优势与局限性。
• 基于调优任务特征（如维度、噪声水平和所需收敛速度）制定一套用于选择RLO或BO的决策标准。
• 通过仿真和真实粒子加速器实验验证方法，确保其实际相关性和可靠性。
• 通过实现样本高效、可重复的自主调优，减少对专家人工操作的依赖，提升高影响力科学设施的运行效率。

提出的方法

• RLO采用基于深度确定性策略梯度（DDPG）的智能体，通过强化学习训练，学习在实时中选择最优磁铁设置的端到端策略。
• BO使用高斯过程（GP）代理模型与期望改进（EI）获取函数，以在调优过程中平衡探索与利用。
• 两种方法均在ARES粒子加速器的束流调优任务上进行评估，目标是将电子束聚焦并引导至诊断屏上。
• 目标函数结合了束流位置误差（MAE）与束流在屏上的奖励，通过归一化输入和标准化输出以提升GP稳定性。
• GP模型的超参数（长度尺度、信号噪声）在每一步通过最大化对数似然动态更新。
• 研究采用约束动作空间以避免四极磁铁中代价高昂的极性切换，并将步长限制在总动作范围的0.1倍以内以保证稳定性。

Figure 1: Simplified 3D illustration of the considered section of the ARES particle accelerator. This section consists of three quadrupole magnets and two steering magnets, followed by a diagnostic screen. The measured beam $\bm{b}$ and the desired beam $\bm{b}^{\prime}$ are provided to the algorith

实验结果

研究问题

• RQ1 在真实粒子加速器中的束流调优任务中，RLO与BO在收敛速度和最终优化性能方面如何比较？
• RQ2 在存在测量噪声和样本预算有限等现实条件下，RLO与BO的相对优势与劣势是什么？
• RQ3 随着调优维度和系统动态性的增加，RLO与BO的性能如何变化？
• RQ4 基于真实加速器运行的实证结果，在哪些场景下RLO比BO更合适，反之亦然？
• RQ5 能否基于实证结果推导出一套决策标准，以指导未来复杂物理装置中自主调优应用的RLO或BO选择？

主要发现

• 在束流调优任务中，RLO实现了比BO更快的收敛速度和更优的最终性能，在75次真实世界步骤后，平均绝对误差（MAE）降低至0.1 mm以下。
• BO收敛较慢，但在噪声环境下表现出更强的稳定性，因测量不确定性导致发散的风险更低。
• 引入+10的束流在屏奖励显著提升了目标函数，表明可见性是关键性能指标。
• 两种方法均优于Nelder-Mead和随机搜索等基线方法，且在仿真和真实实验中，RLO的收敛速度提高了30%–40%。
• 研究发现，由于能够从稀疏反馈中学习复杂非线性策略，RLO在高维调优任务中更为有效。
• 仿真与真实数据的结合实现了稳健验证，证实RLO能良好地从仿真泛化到真实加速器运行。

Figure 2: Beam difference over time for different optimisation algorithms. The mean beam difference as the MAE of the beam parameters to the target beam is shown by the solid and dashed lines. The envelopes show the \qty 95 confidence intervals of the beam differences. a shows the beam differences a