[논문 리뷰] Contrastive Representation Learning for Predicting Solar Flares from Extremely Imbalanced Multivariate Time Series Data

Onur Vural, Shah Muhammad Hamdi외 1명|arXiv (Cornell University)|2024. 10. 01.

Market Dynamics and VolatilityEconomics, Econometrics and Finance인용 수 3

한 줄 요약

이 논문은 태양 플레어 예측에서 극단적인 클래스 불균형 문제를 해결하기 위해 다변량 시계열(MVTS) 데이터를 위한 새로운 대비 표현 학습 프레임워크인 CONTREX를 제안한다. 동적 특징을 추출하고, 극단적인 양성 및 음성 클래스 표현을 유도하며, 고유한 대비 복원 손실을 사용해 시퀀스 임베딩 모듈을 훈련시킴으로써 CONTREX는 SWAN-SF 벤치마크에서 최신 기술 성능(SOTA)을 달성하여 정확도(0.7306), TSS(0.7098), ROC AUC(0.8549)에서 베이스라인을 초월한다.

ABSTRACT

Major solar flares are abrupt surges in the Sun's magnetic flux, presenting significant risks to technological infrastructure. In view of this, effectively predicting major flares from solar active region magnetic field data through machine learning methods becomes highly important in space weather research. Magnetic field data can be represented in multivariate time series modality where the data displays an extreme class imbalance due to the rarity of major flare events. In time series classification-based flare prediction, the use of contrastive representation learning methods has been relatively limited. In this paper, we introduce CONTREX, a novel contrastive representation learning approach for multivariate time series data, addressing challenges of temporal dependencies and extreme class imbalance. Our method involves extracting dynamic features from the multivariate time series instances, deriving two extremes from positive and negative class feature vectors that provide maximum separation capability, and training a sequence representation embedding module with the original multivariate time series data guided by our novel contrastive reconstruction loss to generate embeddings aligned with the extreme points. These embeddings capture essential time series characteristics and enhance discriminative power. Our approach shows promising solar flare prediction results on the Space Weather Analytics for Solar Flares (SWAN-SF) multivariate time series benchmark dataset against baseline methods.

연구 동기 및 목표

• 태양 활성 지역에서 확보한 다변량 시계열(MVTS) 데이터를 활용해 태양 플레어 예측에서 극단적인 클래스 불균형 문제를 해결한다.
• MVTS의 시간적 의존성과 희귀 사건 분류에 특화된 대비 표현 학습 프레임워크를 개발한다.
• 극단적인 클래스 표현(양성 및 음성 극단)을 향해 지도하여 학습된 임베딩의 분류 능력을 향상시킨다.
• 표준 태양 플레어 예측 연구 기준인 SWAN-SF 벤치마크 데이터셋에서 제안된 방법의 효과성을 입증한다.
• 대비 학습 원리를 적용해 주어진 이진 태양 플레어 분류 작업에서 더 높은 전이 가능성과 성능을 달성한다.

제안 방법

• 시간적 동적 특징을 각 MVTS 인스턴스에서 추출하여 시계열의 핵심 역학과 시간에 따른 변화를 포착한다.
• 양성(플레어 발생) 클래스와 음성(비플레어) 클래스에서 각각 하나의 대비 극단점(Extreme Point)을 계산하여 클래스 간 분리도를 극대화한다.
• 원본 MVTS 데이터를 사용해 시퀀스 표현 임베딩 모듈을 훈련시키며, 유도된 극단점과 일치하도록 지도하는 새로운 대비 복원 손실을 적용한다.
• 학습된 임베딩을 하류의 로지스틱 회귀 분류기의 입력으로 사용해 이진 태양 플레어 예측을 수행한다.
• 대비 복원 손실을 설계하여 임베딩가 양성 및 음성 극단 표현 쪽으로 끌려오도록 유도함으로써 분류 능력을 향상시킨다.
• t-SNE 시각화를 통해 임베딩이 잠재 공간에서 클래스 간 분리 능력을 효과적으로 확보했음을 검증한다.

Figure 1: CONTREX is composed of (1) a sequence representation embedding module to derive fixed-dimensional embeddings from MVTS data points, and (2) a downstream classifier that utilizes the representation embeddings for binary prediction.

실험 결과

연구 질문

• RQ1 다변량 시계열에서 극단적인 클래스 불균형 상황에서 대비 표현 학습이 태양 플레어 예측 성능 향상에 기여하는가?
• RQ2 제안된 대비 복원 손실이 임베딩이 분류 능력이 뛰어난 극단적 클래스 표현 쪽으로 유도하는 데 얼마나 효과적인가?
• RQ3 CONTREX는 SWAN-SF 벤치마크에서 정확도, TSS, AUC 측면에서 기존 MVTS 표현 방법(LSTM, ROCKET, LTV 등)을 초월하는가?
• RQ4 학습된 임베딩이 플레어 예측을 위해 의미 있는 시간적 패턴과 분류 능력을 얼마나 잘 포착하는가?
• RQ5 이 프레임워크는 이진 또는 다중 클래스 분류 작업을 수행하는 다른 MVTS 데이터셋으로도 일반화 가능한가?

주요 결과

• CONTREX는 SWAN-SF 데이터셋에서 모든 베이스라인 대비 가장 높은 정확도(0.7306 ± 0.0966)를 기록했으며, LTV에 비해 5.1% 높은 성능을 보였다.
• 모델는 가장 높은 진짜 스킬 통계치(TSS) 0.7098 ± 0.0978을 기록하여 민감도와 특이도의 균형을 잘 유지하는 것으로 나타났다.
• CONTREX는 최고의 ROC AUC 점수 0.8549 ± 0.0489를 기록하여 플레어 및 비플레어 클래스 간의 우수한 분류 능력을 입증했다.
• F1 점수(0.1579 ± 0.0477)와 히드크 기술 점수(HSS2)(0.1189 ± 0.0497)에서는 두 번째 순위를 기록했으나, GSS(0.02303 ± 0.0070)에서는 LTV와 동일한 성능을 보여 균형 잡힌 지표에서 뛰어난 성능을 입증했다.
• t-SNE 시각화 결과 CONTREX 임베딩가 잠재 공간에서 양성 및 음성 클래스를 효과적으로 분리함을 확인하여 모델의 분류 능력이 검증되었다.
• 제안된 대비 복원 손실이 임베딩 공간을 극단적 클래스 표현 쪽으로 효과적으로 유도하여 특징의 분류 능력이 향상됨을 입증했다.

Figure 2: Flare class distribution of each division in stacked bar plot format. For each partition, the count of five flare classes is shown in the plot.