[论文解读] Machine learning for design optimization of storage ring nonlinear dynamics

Faya Wang, Minghao Song+2 more|arXiv (Cornell University)|Oct 31, 2019

Structural Health Monitoring Techniques参考文献 1被引用 5

一句话总结

本文提出了一种多代神经网络代理模型，用于加速存储环中非线性束流动力学的多目标优化。通过在新评估的解上迭代训练和更新深度神经网络，该方法在2,000次仿真内收敛至帕累托前沿，显著快于NSGA-II和粒子群优化算法，后者在SPEAR3晶格上达到类似结果需10,000次评估。

ABSTRACT

A novel approach to expedite design optimization of nonlinear beam dynamics in storage rings is proposed and demonstrated in this study. At each iteration, a neural network surrogate model is used to suggest new trial solutions in a multi-objective optimization task. The surrogate model is then updated with the new solutions, and this process is repeated until the final optimized solution is obtained. We apply this approach to optimize the nonlinear beam dynamics of the SPEAR3 storage ring, where sextupole knobs are adjusted to simultaneously improve the dynamic aperture and the momentum aperture. The approach is shown to converge to the Pareto front considerably faster than the genetic and particle swarm algorithms.

研究动机与目标

• 为解决使用多粒子追踪进行存储环晶格设计束流动力学评估的高计算成本问题，此类仿真通常每次需耗时数十分钟。
• 提升加速器物理中常见于高维非线性参数空间的多目标优化效率。
• 减少为寻找最优六极磁铁调节参数配置以同时最大化动态孔径和动量孔径所需昂贵的物理仿真次数。
• 证明迭代式、基于集成的神经网络代理建模方法可优于传统随机算法如NSGA-II和粒子群优化。

提出的方法

• 使用具有五个全连接层和LeakyReLU激活函数的深度前馈神经网络，从六极磁铁调节参数预测动态孔径和动量孔径。
• 采用20个神经网络的集成，每个网络具有随机采样的LeakyReLU斜率，通过平均预测结果以提高鲁棒性并减少过拟合。
• 优化过程采用迭代方式进行：使用NSGA-II从当前代理模型生成帕累托前沿，并在参数空间中这些点周围采样新候选解。
• 每次新批次解被评估后，代理模型均重新训练，逐步提升准确性并聚焦于高性能区域。
• 该方法从100至1,000个解的初始种群开始，经过多代迭代更新模型，从而显著减少所需总仿真次数。
• 该方法在SPEAR3存储环晶格上进行了验证，用于优化六极磁铁调节参数，以同时最大化动态孔径和动量孔径。

实验结果

研究问题

• RQ1 能否通过在新仿真结果上迭代训练的神经网络代理模型，加速存储环非线性动力学优化中对帕累托前沿的收敛？
• RQ2 在仿真效率方面，迭代代理基优化方法与NSGA-II和粒子群优化等成熟随机算法相比表现如何？
• RQ3 初始种群大小和模型集成大小对高维非线性优化中收敛速度与解质量的影响是什么？
• RQ4 代理模型能否有效捕捉六极磁铁调节参数设置与束流动力学性能指标之间复杂的非线性关系？

主要发现

• 神经网络代理方法仅通过2,000次仿真评估即收敛至帕累托前沿，动态孔径约为12.5 mm，动量孔径为2.5%。
• 当种群大小为1,000时，该方法在第二代即达到最优性能，且在更少评估次数下优于NSGA-II和粒子群优化。
• 当使用较小种群（200）时，该方法历经10代（共2,200次评估）仍优于NSGA-II和PSO的最终解，后者需10,000次评估。
• 神经网络方法获得的最终解在动态孔径更高的区域延伸更远，尽管动量孔径略有牺牲，表明其具有更好的探索潜力。
• 集成神经网络方法相比单模型展现出更高的可靠性与更低的预测方差，增强了优化稳定性。
• 与物理仿真相比，训练神经网络的计算成本可忽略不计，使该方法整体上极为高效。