[论文解读] A Machine-Learning-Ready Dataset Prepared from the Solar and Heliospheric Observatory Mission

Carl Shneider, Andong Hu+5 more|arXiv (Cornell University)|Aug 4, 2021

Solar and Space Plasma Dynamics被引用 7

一句话总结

本文提出一个面向机器学习的 SoHO 任务数据集及开源 Python 处理管道，基于太阳和日球层观测卫星（SoHO）任务，实现了空间天气预报的标准化、可复现训练。该工具处理 SoHO 的多波段图像（MDI、EIT 和 LASCO），应用数据完整性检查、掩星过滤和时间同步，生成干净、可直接使用的数据集，显著提升模型性能。通过使用深度卷积神经网络（CNN）和高斯朴素贝叶斯基线模型，成功实现了对 L1 点处行星际磁场 Bz 的 3–5 天前预报。

ABSTRACT

We present a Python tool to generate a standard dataset from solar images that allows for user-defined selection criteria and a range of pre-processing steps. Our Python tool works with all image products from both the Solar and Heliospheric Observatory (SoHO) and Solar Dynamics Observatory (SDO) missions. We discuss a dataset produced from the SoHO mission's multi-spectral images which is free of missing or corrupt data as well as planetary transits in coronagraph images, and is temporally synced making it ready for input to a machine learning system. Machine-learning-ready images are a valuable resource for the community because they can be used, for example, for forecasting space weather parameters. We illustrate the use of this data with a 3-5 day-ahead forecast of the north-south component of the interplanetary magnetic field (IMF) observed at Lagrange point one (L1). For this use case, we apply a deep convolutional neural network (CNN) to a subset of the full SoHO dataset and compare with baseline results from a Gaussian Naive Bayes classifier.

研究动机与目标

• 解决当前缺乏标准化、高质量且可复现的太阳图像数据集用于训练机器学习模型的问题。
• 开发一个模块化、开源的 Python 工具，自动处理来自 MDI、EIT 和 LASCO 仪器的 SoHO 图像，包含数据完整性检查和对缺失数据及行星掩星的过滤。
• 生成时间对齐、干净无误的图像数据集，不含损坏或缺失图像，可直接输入机器学习系统。
• 通过使用深度学习和传统分类器对 L1 点处 3–5 天前的行星际磁场（IMF）Bz 进行预报，验证数据集的实用性。
• 建立面向整个社区的基准，推动基于太阳图像数据的空间天气预报可复现研究。

提出的方法

• 该处理管道使用 SunPy 的 Fido 和 DRMS 接口，从 JSOC 和 SDAC 以 FITS 格式查询并检索 SoHO 图像数据。
• 通过自动化过滤机制，剔除包含缺失数据、'孔洞'、条纹或行星掩星的图像，确保数据完整性。
• 基于时间对齐，将来自多个 SoHO 仪器（MDI、EIT、LASCO）的图像进行同步，生成时间对齐的数据集。
• 支持本地 FITS 文件生成和预处理 HDF5 数据立方体的直接使用，提升机器学习工作流效率。
• 处理管道包含可配置的下采样策略，并输出被丢弃文件的可点击 URL，增强透明度与可复现性。
• 该工具具有模块化和可扩展性，可与 SunPy 生态系统支持的其他数据源无缝集成。

实验结果

研究问题

• RQ1 能否从长期运行、多仪器的 SoHO 任务数据中系统性地生成标准化、面向机器学习的数据集？
• RQ2 剔除数据损坏和行星掩星后，对机器学习模型在空间天气参数预报中的性能有何影响？
• RQ3 在使用 SoHO 图像预测 L1 点处 3–5 天前的行星际磁场 Bz 时，深度卷积神经网络（CNN）在多大程度上优于高斯朴素贝叶斯（GNB）分类器？
• RQ4 从 LASCO 图像中移除 F 日冕成分对模型性能指标（如 TSS 和 MCC）有何影响？
• RQ5 模块化、开源的处理管道能否实现空间天气预报模型的可复现与社区级基准测试？

主要发现

• 该面向机器学习的数据集不含缺失数据、损坏图像或行星掩星，所有图像在 SoHO 各仪器间均实现时间对齐。
• 当使用 MDI、EIT 和 LASCO 图像（F 日冕成分已减去）在 5% 阈值下提取特征时，高斯朴素贝叶斯分类器达到 89% 的真正例率（TPR）和 89% 的真负例率（TNR）。
• 采用 F 日冕减除的 GNB 模型获得 TSS 得分为 0.78，MCC 得分为 0.41，优于保留 F 日冕的模型（TSS：0.68，MCC：0.33）。
• 尽管未进行超参数调优，CNN 模型已展现出预测能力，表明进一步的网络架构调优可能超越 GNB 基线。
• 该处理管道的模块化设计支持与其他数据源的集成，同时支持本地 FITS 和预处理 HDF5 输出，显著提升可用性与性能。
• 本研究证实，SoHO 图像包含足够的信息用于空间天气预报，鼓励社区在该数据集上开展进一步的协作研究。