[論文レビュー] Contrastive Representation Learning for Predicting Solar Flares from Extremely Imbalanced Multivariate Time Series Data

Onur Vural, Shah Muhammad Hamdi+1 more|arXiv (Cornell University)|Oct 1, 2024

Market Dynamics and VolatilityEconomics, Econometrics and Finance被引用数 3

ひとこと要約

本稿では、太陽耀の予測における極端なクラス不均衡問題に対処するため、多変量時系列（MVTS）データ向けの新しい対照的表現学習フレームワークであるCONTREXを提案する。動的特徴の抽出、極端な正例および負例クラスの表現の導出、およびカスタム対照的再構成損失を用いたシーケンス埋め込みモジュールの訓練により、CONTREXはSWAN-SFベンチマークで最先端の性能を達成し、精度（0.7306）、TSS（0.7098）、ROC AUC（0.8549）の面でベースラインを上回った。

ABSTRACT

Major solar flares are abrupt surges in the Sun's magnetic flux, presenting significant risks to technological infrastructure. In view of this, effectively predicting major flares from solar active region magnetic field data through machine learning methods becomes highly important in space weather research. Magnetic field data can be represented in multivariate time series modality where the data displays an extreme class imbalance due to the rarity of major flare events. In time series classification-based flare prediction, the use of contrastive representation learning methods has been relatively limited. In this paper, we introduce CONTREX, a novel contrastive representation learning approach for multivariate time series data, addressing challenges of temporal dependencies and extreme class imbalance. Our method involves extracting dynamic features from the multivariate time series instances, deriving two extremes from positive and negative class feature vectors that provide maximum separation capability, and training a sequence representation embedding module with the original multivariate time series data guided by our novel contrastive reconstruction loss to generate embeddings aligned with the extreme points. These embeddings capture essential time series characteristics and enhance discriminative power. Our approach shows promising solar flare prediction results on the Space Weather Analytics for Solar Flares (SWAN-SF) multivariate time series benchmark dataset against baseline methods.

研究の動機と目的

• 太陽活性領域の多変量時系列（MVTS）データを用いて、太陽耀予測における極端なクラス不均衡の課題に対処すること。
• MVTSの時間的依存関係とレアイベント分類に特化した対照的表現学習フレームワークの開発。
• 極端な正例および負例の表現に向けたガイドラインを用いて、学習された埋め込みの判別能力を向上させること。
• SWAN-SFベンチマークデータセット上で、提案手法の有効性を実証すること。これは太陽耀予測研究分野における標準的基準である。
• 対照的学習の原則に従い、主要な太陽耀の下流二値分類タスクにおける転送性および性能を向上させること。

提案手法

• 時系列のダイナミクスと時間的変化を捉えるために、各MVTSインスタンスから動的特徴を抽出する。
• クラス間分離を最大化するように、正例（発光）クラスと負例（非発光）クラスからそれぞれ1つの対照的極端点を計算する。
• オリジナルのMVTSデータを用いて、導出された極端点に埋め込みを一致させる新しい対照的再構成損失をガイドとして用い、シーケンス表現埋め込みモジュールを訓練する。
• 下流のロジスティック回帰分類器に、学習された埋め込みを入力として用い、二値太陽耀予測を実行する。
• 埋め込みが正例および負例の極端な表現に引き寄せられるように、対照的再構成損失を設計し、判別能力を強化する。
• t-SNE可視化を用いて、潜在空間における学習済み埋め込みのクラス分離能力を検証する。

Figure 1: CONTREX is composed of (1) a sequence representation embedding module to derive fixed-dimensional embeddings from MVTS data points, and (2) a downstream classifier that utilizes the representation embeddings for binary prediction.

実験結果

リサーチクエスチョン

• RQ1 極端なクラス不均衡下における多変量時系列データの太陽耀予測において、対照的表現学習は性能向上に寄与するか？
• RQ2 提案された対照的再構成損失は、埋め込みを判別的な極端なクラス表現に効果的に誘導できるか？
• RQ3 CONTREXは、SWAN-SFベンチマークにおける精度、TSS、AUCの観点で、既存のMVTS表現手法（例：LSTM、ROCKET、LTV）を上回るか？
• RQ4 学習された埋め込みは、耀予測に意味のある時間的および判別的パターンをどれくらい効果的に捉えているか？
• RQ5 このフレームワークは、二値または多値分類タスクを有する他のMVTSデータセットにも一般化可能か？

主な発見

• CONTREXは、SWAN-SFデータセットにおいて、全ベースライン中で最高の精度（0.7306 ± 0.0966）を達成し、LTVを5.1%上回った。
• 真のスキル統計量（TSS）は0.7098 ± 0.0978と最高を記録し、感度と特異度のバランスの良さを示した。
• ROC AUCスコアは0.8549 ± 0.0489を達成し、発光および非発光クラス間の優れた判別能力を示した。
• F1スコア（0.1579 ± 0.0477）およびヘイドケスキルスコア（HSS2）（0.1189 ± 0.0497）では2位であったが、GSS（0.02303 ± 0.0070）ではLTVと同等の性能を示し、バランスの取れた指標でも優れた性能を発揮した。
• t-SNE可視化により、CONTREXの埋め込みが潜在空間で正例と負例のクラスを効果的に分離していることが確認され、モデルの判別能力が裏付けられた。
• 提案された対照的再構成損失は、埋め込み空間を極端なクラス表現に効果的に誘導し、特徴の判別能力を向上させた。

Figure 2: Flare class distribution of each division in stacked bar plot format. For each partition, the count of five flare classes is shown in the plot.