[论文解读] Contrastive Representation Learning for Predicting Solar Flares from Extremely Imbalanced Multivariate Time Series Data

Onur Vural, Shah Muhammad Hamdi+1 more|arXiv (Cornell University)|Oct 1, 2024

Market Dynamics and VolatilityEconomics, Econometrics and Finance被引用 3

一句话总结

该论文提出 CONTREX，一种用于多变量时间序列（MVTS）数据的新型对比表示学习框架，旨在解决太阳耀斑预测中的极端类别不平衡问题。通过提取动态特征、推导极端正负类别表征，并使用自定义对比重建损失训练序列嵌入模块，CONTREX 在 SWAN-SF 基准上实现了最先进性能，准确率（0.7306）、TSS（0.7098）和 ROC AUC（0.8549）均优于基线模型。

ABSTRACT

Major solar flares are abrupt surges in the Sun's magnetic flux, presenting significant risks to technological infrastructure. In view of this, effectively predicting major flares from solar active region magnetic field data through machine learning methods becomes highly important in space weather research. Magnetic field data can be represented in multivariate time series modality where the data displays an extreme class imbalance due to the rarity of major flare events. In time series classification-based flare prediction, the use of contrastive representation learning methods has been relatively limited. In this paper, we introduce CONTREX, a novel contrastive representation learning approach for multivariate time series data, addressing challenges of temporal dependencies and extreme class imbalance. Our method involves extracting dynamic features from the multivariate time series instances, deriving two extremes from positive and negative class feature vectors that provide maximum separation capability, and training a sequence representation embedding module with the original multivariate time series data guided by our novel contrastive reconstruction loss to generate embeddings aligned with the extreme points. These embeddings capture essential time series characteristics and enhance discriminative power. Our approach shows promising solar flare prediction results on the Space Weather Analytics for Solar Flares (SWAN-SF) multivariate time series benchmark dataset against baseline methods.

研究动机与目标

• 利用太阳活动区的多变量时间序列（MVTS）数据，解决太阳耀斑预测中极端类别不平衡的挑战。
• 开发一种专用于时间依赖性和 MVTS 中罕见事件分类的对比表示学习框架。
• 通过引导嵌入向极端类别表征（正极端和负极端）对齐，提升学习嵌入的判别能力。
• 在 SWAN-SF 基准数据集上验证所提方法的有效性，该数据集是太阳耀斑预测研究中的标准基准。
• 基于对比学习原理，提升在后续主要太阳耀斑二分类任务中的可迁移性和性能表现。

提出的方法

• 从每个 MVTS 实例中提取动态特征，以捕捉时间序列的动态特性和时间演化模式。
• 计算两个对比极端点——一个来自正类（耀斑类），一个来自负类（非耀斑类）——以最大化类间分离。
• 使用原始 MVTS 数据训练序列表示嵌入模块，通过一种新型对比重建损失引导，使嵌入与推导出的极端点对齐。
• 将学习到的嵌入作为输入，输入到下游逻辑回归分类器中，用于二元太阳耀斑预测。
• 设计对比重建损失，以促使嵌入被拉向正负极端表征，从而增强其判别能力。
• 应用 t-SNE 可视化，验证学习嵌入在潜在空间中的类别分离能力。

Figure 1: CONTREX is composed of (1) a sequence representation embedding module to derive fixed-dimensional embeddings from MVTS data points, and (2) a downstream classifier that utilizes the representation embeddings for binary prediction.

实验结果

研究问题

• RQ1 在多变量时间序列中存在极端类别不平衡的情况下，对比表示学习能否提升太阳耀斑预测的性能？
• RQ2 所提出的对比重建损失在引导嵌入向判别性极端类别表征对齐方面有多有效？
• RQ3 CONTREX 在 SWAN-SF 基准上的准确率、TSS 和 AUC 指标上是否优于现有 MVTS 表示方法（如 LSTM、ROCKET、LTV）？
• RQ4 学习到的嵌入在多大程度上捕捉了对耀斑预测有意义的时间模式和判别性特征？
• RQ5 该框架能否泛化到其他具有二分类或多分类任务的 MVTS 数据集？

主要发现

• 在 SWAN-SF 数据集上，CONTREX 的准确率（0.7306 ± 0.0966）在所有基线模型中最高，较 LTV 提升 5.1%。
• 该模型记录了最高的真正技能统计量（TSS）0.7098 ± 0.0978，表明在敏感性和特异性之间具有出色的平衡能力。
• CONTREX 取得了最佳的 ROC AUC 得分 0.8549 ± 0.0489，证明其在区分耀斑与非耀斑类别方面具有卓越的判别能力。
• 尽管 F1 分数（0.1579 ± 0.0477）和 Heidke 技巧评分（HSS2）（0.1189 ± 0.0497）排名第二，但 CONTREX 在 GSS（0.02303 ± 0.0070）上与 LTV 表现相当，显示出在平衡指标上的强劲性能。
• t-SNE 可视化结果证实，CONTREX 嵌入在潜在空间中能有效分离正负类别，验证了模型的判别能力。
• 所提出的对比重建损失成功引导嵌入空间向极端类别表征对齐，显著增强了特征的判别性。

Figure 2: Flare class distribution of each division in stacked bar plot format. For each partition, the count of five flare classes is shown in the plot.