[论文解读] A Comparative Analysis of Machine-learning Models for Solar Flare Forecasting: Identifying High-performing Active Region Flare Indicators

Suvadip Sinha, Om Gupta+10 more|arXiv (Cornell University)|Apr 12, 2022

Solar and Space Plasma Dynamics参考文献 81被引用 33

一句话总结

本研究对四种机器学习模型——k近邻、逻辑回归、随机森林和支持向量机——在太阳周期24期间基于HMI磁特征的太阳耀斑预测中进行了全面的对比分析。逻辑回归模型取得了0.967 ± 0.018的最高真正技能评分，总电流螺旋度、总垂直电流密度和R VALUE被识别为表现最佳的耀斑预测指标。

ABSTRACT

Solar flares create adverse space weather impacting space and Earth-based technologies. However, the difficulty of forecasting flares, and by extension severe space weather, is accentuated by the lack of any unique flare trigger or a single physical pathway. Studies indicate that multiple physical properties contribute to active region flare potential, compounding the challenge. Recent developments in machine learning (ML) have enabled analysis of higher-dimensional data leading to increasingly better flare forecasting techniques. However, consensus on high-performing flare predictors remains elusive. In the most comprehensive study to date, we conduct a comparative analysis of four popular ML techniques (k-nearest neighbor, logistic regression, random forest classifier, and support vector machine) by training these on magnetic parameters obtained from the Helioseismic and Magnetic Imager (HMI) on board the Solar Dynamics Observatory (SDO) for the entirety of solar cycle 24. We demonstrate that the logistic regression and support vector machine algorithms perform extremely well in forecasting active region flaring potential. The logistic regression algorithm returns the highest true skill score of $0.967 \pm 0.018$, possibly the highest classification performance achieved with any strictly parametric study. From a comparative assessment, we establish that the magnetic properties like total current helicity, total vertical current density, total unsigned flux, R_VALUE, and total absolute twist are the top-performing flare indicators. We also introduce and analyze two new performance metrics, namely, severe and clear space weather indicators. Our analysis constrains the most successful ML algorithms and identifies physical parameters that contribute most to active region flare productivity.

研究动机与目标

• 评估并比较四种主流机器学习模型在使用磁参数进行太阳耀斑预测中的性能。
• 识别太阳周期24期间从HMI SHARP数据中提取的最具预测性的活动区耀斑指标。
• 提出并验证新的性能指标——严重空间天气指标（CSW）和清晰空间天气指标（CWS），以改进耀斑预测评估。
• 通过识别一组最小化、低相关性的高性能磁特征，降低模型对特征数量的依赖。

提出的方法

• 在来自SDO/HMI SHARP数据的14个磁参数上训练四种机器学习模型——k-NN、逻辑回归、随机森林和SVM。
• 采用24小时耀斑预测窗口和二分类（耀斑 vs. 非耀斑）方法，针对1,376个活动区进行分析。
• 应用10折交叉验证，并通过真正技能评分（TSS）、精确率、召回率和F1分数计算性能指标。
• 通过置换重要性分析和相关性分析，对特征重要性进行排序，以评估冗余性和分布行为。
• 引入两个新指标：严重空间天气指标（CSW）和清晰空间天气指标（CWS），以更好地评估非耀斑事件的预测表现。
• 选取一组最小化、低相关性的特征子集，以测试模型的鲁棒性和性能稳定性。

实验结果

研究问题

• RQ1 在太阳周期24期间，使用HMI磁参数进行耀斑预测时，哪种机器学习模型表现最佳？
• RQ2 哪些磁特征对活动区耀斑发生率具有最强预测能力？
• RQ3 关键特征在耀斑与非耀斑活动区中的分布有何差异，这种差异如何影响模型性能？
• RQ4 在减少输入特征数量且保持低相关性的情况下，模型性能能在多大程度上维持？
• RQ5 与标准指标相比，新性能指标（CSW和CWS）在多大程度上提升了耀斑预测模型的评估效果？

主要发现

• 逻辑回归模型取得了0.967 ± 0.018的最高真正技能评分，代表了迄今为止任何严格参数化耀斑预测研究中的最佳分类性能。
• 表现最佳的五个耀斑预测指标为：总电流螺旋度（TOTUSJH）、总垂直电流密度（USFLUX）、R VALUE、总无符号通量（TOTUSJZ）和总绝对扭转度（TOTABSTWIST）。
• 像R VALUE这样的特征在非耀斑区域表现出双峰分布，增加了方差并增强了分离度，从而提高了模型的判别能力。
• 即使在特征集减少的情况下，模型性能依然保持稳健，尤其是在内部相关性被最小化时，表明特征选择具有高度效率。
• 严重空间天气指标（CSW）指标显示，ABS NJZH、SAVNCPP、TOTFZ和TOTPOT等特征在CSW优化下排名提升，因其在非耀斑类别中具有陡峭且低方差的分布。
• 本研究证实，高性能模型和关键物理指标可被系统性识别，从而实现更精确、高效的业务化耀斑预测。