[论文解读] Large Language Models for Human-Machine Collaborative Particle Accelerator Tuning through Natural Language

Jan Kaiser, Annika Eichler+1 more|arXiv (Cornell University)|Jan 1, 2024

Robotics and Automated Systems被引用 2

一句话总结

本文提出使用大语言模型（LLMs）实现通过自然语言驱动的、自主的粒子加速器子系统调优。尽管其性能仅达到最先进的贝叶斯优化和强化学习方法的一半，但该研究证明，LLMs 可在真实世界、非线性环境中成功执行复杂的数值优化，为未来人机协作在加速器运行中的应用铺平道路。

ABSTRACT

Autonomous tuning of particle accelerators is an active and challenging research field with the goal of enabling advanced accelerator technologies and cutting-edge high-impact applications, such as physics discovery, cancer research, and material sciences. A challenge with autonomous accelerator tuning remains that the most capable algorithms require experts in optimization and machine learning to implement them for every new tuning task. Here, we propose the use of large language models (LLMs) to tune particle accelerators. We demonstrate on a proof-of-principle example the ability of LLMs to tune an accelerator subsystem based on only a natural language prompt from the operator, and compare their performance to state-of-the-art optimization algorithms, such as Bayesian optimization and reinforcement learning–trained optimization. In doing so, we also show how LLMs can perform numerical optimization of a nonlinear real-world objective. Ultimately, this work represents another complex task that LLMs can solve and promises to help accelerate the deployment of autonomous tuning algorithms to day-to-day particle accelerator operations.

研究动机与目标

• 探究大语言模型（LLMs）是否能仅通过操作员提供的自然语言提示，自主调优粒子加速器子系统。
• 评估 LLM 在真实世界调优任务中，相对于最先进的优化算法（如贝叶斯优化（BO）和基于强化学习的优化（RLO））的性能表现。
• 评估在复杂非线性系统（如粒子加速器）中使用 LLM 进行多目标数值优化的可行性。
• 探索 LLM 作为加速器运行中的副驾驶的潜力，协助完成配置、诊断及调优算法的协调工作。
• 识别影响 LLM 在加速器调优任务中成功的关键因素，如模型选择和提示设计。

提出的方法

• 作者设计了一个概念验证调优任务，聚焦于优化粒子加速器子系统中的横向束流参数。
• 他们使用四种不同的提示模板，评估了14种 LLM（包括开源模型（如 Llama 2）和专有模型（如 GPT-4、GPT-4 Turbo）），通过自然语言引导调优。
• LLM 被提示根据操作员指定的目标（如最小化束流发射度或提升稳定性）生成执行器设置。
• 性能通过归一化的束流改善分数进行衡量，与基线方法（随机搜索、无操作、极值搜索（ES）、BO 和 RLO）进行比较。
• 考虑了类似 ReAct 的提示策略作为未来潜在改进，以提升 LLM 的推理与动作选择能力。
• 估算环境与计算成本，包括推理能耗（每次运行 83 Wh）和二氧化碳排放量（约 36 克/次调优运行）。

实验结果

研究问题

• RQ1 大语言模型能否仅通过自然语言提示成功实现对粒子加速器子系统的自主调优？
• RQ2 基于 LLM 的调优性能与最先进的优化算法（如贝叶斯优化和基于强化学习的优化）相比如何？
• RQ3 模型架构和提示设计在决定 LLM 在加速器调优任务中成功与否方面发挥什么作用？
• RQ4 LLM 在多大程度上能泛化到复杂、非线性、真实世界中的高精度科学仪器优化问题？
• RQ5 在实时加速器控制中部署 LLM 的实际限制（计算、财务和环境方面）是什么？

主要发现

• 在 34 种 LLM 提示组合中，仅有 18 种成功实现了对横向束流参数调优任务的可测量改善。
• 表现最佳的 LLM 配置（GPT-4 Turbo 搭配优化提示）实现了 −50% 的归一化束流改善，显著优于随机搜索，但远低于 RLO（−99%）和 BO（−93%）。
• LLM 的计算成本较高，单次调优运行消耗约 83 Wh 能量——相当于运行一台现代冰箱 11 小时，或驾驶一辆电动汽车行驶 0.5 公里。
• 环境影响估计为每次调优运行约 36 克二氧化碳排放量（不含预训练阶段排放），凸显了重大的可持续性问题。
• 尽管性能未达最优，该研究证明 LLM 能够在真实世界科学环境中推理复杂的多目标优化任务。
• 结果表明，未来 LLM 能力的提升（由模型规模扩大和提示优化推动）可能最终使基于 LLM 的直接调优与当前最先进的方法具有竞争力。