[论文解读] Autoregressive Transformers for Disruption Prediction in Nuclear Fusion Plasmas

Lucas Spangher, William A. Arnold+3 more|arXiv (Cornell University)|Dec 29, 2023

Topic Modeling被引用 5

一句话总结

该论文提出使用自回归Transformer模型预测核聚变托卡马克中的破裂事件，相较于先前的最先进方法HDL模型，平均AUC提升5%。通过利用长上下文注意力机制和数据增强，该模型捕捉到了长期的等离子体记忆特性，在包括DIII-D和Alcator C-Mod在内的三个主要托卡马克装置的数据上展现出更优的性能与物理可解释性。

ABSTRACT

The physical sciences require models tailored to specific nuances of different dynamics. In this work, we study outcome predictions in nuclear fusion tokamaks, where a major challenge are extit{disruptions}, or the loss of plasma stability with damaging implications for the tokamak. Although disruptions are difficult to model using physical simulations, machine learning (ML) models have shown promise in predicting these phenomena. Here, we first study several variations on masked autoregressive transformers, achieving an average of 5\% increase in Area Under the Receiving Operating Characteristic metric above existing methods. We then compare transformer models to limited context neural networks in order to shed light on the ``memory'' of plasma effected by tokamaks controls. With these model comparisons, we argue for the persistence of a memory throughout the plasma extit{in the context of tokamaks} that our model exploits.

研究动机与目标

• 开发一种机器学习模型，以在核聚变托卡马克破裂预测方面超越现有最先进方法的性能。
• 探究Transformer是否能有效建模等离子体动力学中的长期时间依赖关系，从而表明存在持续的等离子体记忆。
• 评估数据增强、课程学习和预训练对模型性能与可解释性的影响。
• 评估模型的注意力机制是否与已知的等离子体不稳定性物理指标相一致。
• 为未来商业规模聚变反应堆中部署稳健且可泛化的破裂预测系统提供基础。

提出的方法

• 将类似GPT的自回归Transformer架构适配用于基于全局等离子体状态变量的序列到标签分类任务，以实现破裂预测。
• 通过从完整放电序列中随机采样子窗口并基于托卡马克特定的破裂起始阈值（τ_r_i）重新标注标签，实施数据增强。
• 采用课程学习策略，从放电最后10ms开始训练，并逐步扩展上下文窗口，以提升泛化能力。
• 在等离子体状态变量上进行预训练，以改善表征学习与模型泛化能力。
• 利用全局注意力图解释模型的注意力模式，并将其与已知物理现象（如环电压突增和β_p变化）进行关联。
• 通过前向填充插值法，将多托卡马克数据在5ms时间间隔上进行归一化与离散化处理，以实现跨装置的泛化能力。

Figure 1: Sequence to Label classification task using GPT2-like transformers.

实验结果

研究问题

• RQ1 自回归Transformer是否能在多种托卡马克构型下超越现有深度学习基线模型（如混合深度学习模型HDL）在破裂预测中的表现？
• RQ2 该模型的性能是否依赖于长上下文时间建模，从而表明存在持续的等离子体记忆？
• RQ3 数据增强与课程学习在多大程度上提升了模型在未见托卡马克数据上的泛化能力与鲁棒性？
• RQ4 Transformer模型中的注意力机制是否可被解释为检测已知的破裂前兆物理信号（如环电压突增或β_p变化）？
• RQ5 在等离子体状态变量上进行预训练，如何影响模型学习有意义表征以实现破裂预测的能力？

主要发现

• 所提出的Aug-GPT模型相较于HDL基线模型，平均AUC提升5%，其平均AUC达到0.814，而HDL为0.76。
• 原始GPT模型相较于HDL基线模型提升4.7% AUC，表明自回归Transformer在捕捉等离子体动力学中的长期依赖关系方面更具优势。
• 当上下文从480ms缩短至80ms时，性能显著下降，表明模型依赖于长程时间上下文以实现准确预测。
• 全局注意力图显示，即使在较晚的时间步，模型仍对整个放电持续时间保持持续关注，表明模型并未忽视早期等离子体行为。
• 注意力图与已知物理指标高度相关：环电压突增、β_p和Li的变化均被一致突出显示，证实其与物理不稳定性特征一致。
• 状态预训练在所有设置下均提升了模型性能，且该模型本身也表现出有效的状态预测能力，表明其应用潜力不仅限于破裂预测。

Figure 2: Exploration of transformer behavior. Here, we ablate on limiting data context to test whether performance is directly effected by physical memory.