[논문 리뷰] A Comparative Analysis of Machine-learning Models for Solar Flare Forecasting: Identifying High-performing Active Region Flare Indicators

Suvadip Sinha, Om Gupta외 10명|arXiv (Cornell University)|2022. 04. 12.

Solar and Space Plasma Dynamics참고 문헌 81인용 수 33

한 줄 요약

이 연구는 태양활동 24기 동안 HMI에서 유도된 자기장 특징을 바탕으로, k-최근접 이웃, 로지스틱 회귀, 랜덤 포레스트, 서포트 벡터 머신의 네 가지 기계학습 모델을 종합적으로 비교 분석하여 태양 플레어를 예측한다. 로지스틱 회귀는 0.967 ± 0.018의 최고 진짜 기술 점수를 기록하였으며, 총 전류 헬리시티, 총 수직 전류 밀도, R VALUE가 가장 뛰어난 플레어 예측 지표로 나타났다.

ABSTRACT

Solar flares create adverse space weather impacting space and Earth-based technologies. However, the difficulty of forecasting flares, and by extension severe space weather, is accentuated by the lack of any unique flare trigger or a single physical pathway. Studies indicate that multiple physical properties contribute to active region flare potential, compounding the challenge. Recent developments in machine learning (ML) have enabled analysis of higher-dimensional data leading to increasingly better flare forecasting techniques. However, consensus on high-performing flare predictors remains elusive. In the most comprehensive study to date, we conduct a comparative analysis of four popular ML techniques (k-nearest neighbor, logistic regression, random forest classifier, and support vector machine) by training these on magnetic parameters obtained from the Helioseismic and Magnetic Imager (HMI) on board the Solar Dynamics Observatory (SDO) for the entirety of solar cycle 24. We demonstrate that the logistic regression and support vector machine algorithms perform extremely well in forecasting active region flaring potential. The logistic regression algorithm returns the highest true skill score of $0.967 \pm 0.018$, possibly the highest classification performance achieved with any strictly parametric study. From a comparative assessment, we establish that the magnetic properties like total current helicity, total vertical current density, total unsigned flux, R_VALUE, and total absolute twist are the top-performing flare indicators. We also introduce and analyze two new performance metrics, namely, severe and clear space weather indicators. Our analysis constrains the most successful ML algorithms and identifies physical parameters that contribute most to active region flare productivity.

연구 동기 및 목표

• HMI에서 유도된 자기 매개변수를 사용하여 네 가지 인기 있는 기계학습 모델의 태양 플레어 예측 성능을 평가하고 비교하는 것.
• 태양활동 24기 동안 SDO/HMI SHARP 데이터에서 가장 예측 능력이 뛰어난 활동 지역 플레어 지표를 규명하는 것.
• 더 나은 플레어 예측 평가를 위해 새로운 성능 지표인 '심각한 공간 날씨 지표'(CSW)와 '명확한 공간 날씨 지표'(CWS)를 도입하고 검증하는 것.
• 특징 수에 대한 모델 의존도를 줄이기 위해 고성능이지만 상관관계가 낮은 최소한의 특징 조합을 식별하는 것.

제안 방법

• SDO/HMI SHARP 데이터에서 유도된 14개의 자기 매개변수를 기반으로, k-NN, 로지스틱 회귀, 랜덤 포레스트, SVM의 네 가지 기계학습 모델을 훈련시켰다.
• 24시간 플레어 예측 윈도우와 이진 분류(플레어 발생 대 비플레어)를 사용하여 1,376개의 활동 지역에 대해 분석을 수행하였다.
• 10겹 교차검증을 적용하고, 진짜 기술 점수(TSS), 정밀도, 재현율, F1 점수를 계산하여 성능을 평가하였다.
• 순열 중요도와 상관관계 분석을 통해 특징 중요도 순위를 매기고, 중복성과 분포 특성을 평가하였다.
• 새로운 두 가지 지표인 '심각한 공간 날씨 지표'(CSW)와 '명확한 공간 날씨 지표'(CWS)를 도입하여 비플레어 사건 예측 평가를 향상시켰다.
• 모델의 강건성과 성능 안정성을 테스트하기 위해 최소한의 상관관계를 가지는 특징 조합을 선별하였다.

실험 결과

연구 질문

• RQ1 HMI 자기장 매개변수를 사용하여 태양활동 24기 동안 태양 플레어를 예측하는 데 있어 어떤 기계학습 모델이 가장 우수한 성능을 보였는가?
• RQ2 어떤 자기장 특징이 활동 지역의 플레어 생산성에 가장 예측 가능한가?
• RQ3 플레어 발생 지역과 비플레어 지역 간의 핵심 특징 분포는 어떻게 다름과 이로 인해 모델 성능에 어떤 영향을 미치는가?
• RQ4 입력 특징의 수를 줄이고 상관관계가 낮은 특징 조합을 사용할 경우, 모델 성능을 얼마나 유지할 수 있는가?
• RQ5 새로운 성능 지표(CSW 및 CWS)는 기존 지표에 비해 플레어 예측 모델 평가에 어떤 방식으로 향상되는가?

주요 결과

• 로지스틱 회귀는 0.967 ± 0.018의 최고 진짜 기술 점수를 기록하여, 지금까지 엄격한 매개변수 기반 플레어 예측 연구 중에서 가장 뛰어난 분류 성능를 보였다.
• 상위 다섯 플레어 지표는 총 전류 헬리시티(TOTUSJH), 총 수직 전류 밀도(USFLUX), R VALUE, 총 무부호 자기율(TOTUSJZ), 총 절대 휘감김(TOTABSTWIST)이었다.
• R VALUE와 같은 특징은 비플레어 지역에서 이중 첨도 분포를 보이며 분산이 증가해 분리 능력이 향상되어 모델의 분류 성능가 향상되었다.
• 특징 수가 감소한 경우에도 내부 상관관계가 최소화된 상태에서는 모델 성능이 뚜렷하게 유지되어 특징 선택의 높은 효율성을 입증하였다.
• 심각한 공간 날씨 지표(CSW) 지표는 ABSNJZH, SAVNCPP, TOTFZ, TOTPOT와 같은 특징이 비플레어 클래스에서 급격하고 분산이 낮은 분포를 보이기 때문에 CSW 최적화 시 랭킹이 향상됨을 드러냈다.
• 본 연구는 고성능 모델과 핵심 물리적 지표를 체계적으로 식별할 수 있음을 확인하였으며, 이는 더 정밀하고 효율적인 운영 기반 플레어 예측을 가능하게 한다.