[論文レビュー] A Comparative Analysis of Machine-learning Models for Solar Flare Forecasting: Identifying High-performing Active Region Flare Indicators

Suvadip Sinha, Om Gupta+10 more|arXiv (Cornell University)|Apr 12, 2022

Solar and Space Plasma Dynamics参考文献 81被引用数 33

ひとこと要約

本研究では、太陽黒spot周期24におけるHMI由来の磁気特徴量を用いて、k近傍法、ロジスティック回帰、ランダムフォレスト、サポートベクターマシンの4つの機械学習モデルを包括的に比較分析し、太陽フレアを予測した。ロジスティック回帰が0.967 ± 0.018の最高の真のスキルスコアを達成し、全電流ホリシティ、全垂直電流密度、およびR VALUEが最も優れたフレア予測指標として浮き彫りになった。

ABSTRACT

Solar flares create adverse space weather impacting space and Earth-based technologies. However, the difficulty of forecasting flares, and by extension severe space weather, is accentuated by the lack of any unique flare trigger or a single physical pathway. Studies indicate that multiple physical properties contribute to active region flare potential, compounding the challenge. Recent developments in machine learning (ML) have enabled analysis of higher-dimensional data leading to increasingly better flare forecasting techniques. However, consensus on high-performing flare predictors remains elusive. In the most comprehensive study to date, we conduct a comparative analysis of four popular ML techniques (k-nearest neighbor, logistic regression, random forest classifier, and support vector machine) by training these on magnetic parameters obtained from the Helioseismic and Magnetic Imager (HMI) on board the Solar Dynamics Observatory (SDO) for the entirety of solar cycle 24. We demonstrate that the logistic regression and support vector machine algorithms perform extremely well in forecasting active region flaring potential. The logistic regression algorithm returns the highest true skill score of $0.967 \pm 0.018$, possibly the highest classification performance achieved with any strictly parametric study. From a comparative assessment, we establish that the magnetic properties like total current helicity, total vertical current density, total unsigned flux, R_VALUE, and total absolute twist are the top-performing flare indicators. We also introduce and analyze two new performance metrics, namely, severe and clear space weather indicators. Our analysis constrains the most successful ML algorithms and identifies physical parameters that contribute most to active region flare productivity.

研究の動機と目的

• 磁気パラメータを用いた太陽フレア予測において、4つの代表的な機械学習モデルの性能を評価・比較すること。
• 太陽黒spot周期24期におけるHMI SHARPデータからの、最も予測可能な活動領域フレア指標を同定すること。
• より良いフレア予測評価のため、新たな性能指標「深刻な宇宙天気指標」と「明確な宇宙天気指標」を導入・検証すること。
• 特徴量数に依存しないモデルを実現するため、最小限で相関の低い高精度特徴量の集合を同定すること。

提案手法

• SDO/HMI SHARPデータから導出された14個の磁気パラメータを用いて、k-NN、ロジスティック回帰、ランダムフォレスト、SVMの4つの機械学習モデルを学習した。
• 24時間のフレア予測ウィンドウと、フレア発生／非発生の2値分類を、1,376個の活動領域に対して実施した。
• 10分割交差検証を適用し、真のスキルスコア（TSS）、精度、再現率、F1スコアを用いて性能を算出した。
• 順列重要度と相関分析を用いて特徴量の重要度をランク付けし、重複性と分布的挙動を評価した。
• 「深刻な宇宙天気指標」（CSW）と「明確な宇宙天気指標」（CWS）の2つの新指標を導入し、非フレアイベントの予測評価を改善した。
• モデルの頑健性と性能安定性を検証するため、最小限で相関の低い特徴量のサブセットを選定した。

実験結果

リサーチクエスチョン

• RQ1 太陽黒spot周期24におけるHMI磁気パラメータを用いたフレア予測において、どの機械学習モデルが最も優れた性能を示すか？
• RQ2 どの磁気特徴量が活動領域のフレア生産性に対して最も予測可能か？
• RQ3 フレア発生領域と非発生領域における主要特徴量の分布はどのように異なるか？また、これによりモデル性能にどのような影響を与えるか？
• RQ4 入力特徴量を低減した場合、相関の低い特徴量の集合を用いても、モデル性能をどの程度維持できるか？
• RQ5 新規の性能指標（CSWとCWS）は、標準指標と比較して、フレア予測モデルの評価をどの程度改善するか？

主な発見

• ロジスティック回帰が、0.967 ± 0.018の最高の真のスキルスコアを達成し、これまでに報告された厳密なパrametricなフレア予測研究で最高の分類性能を示した。
• 上位5つのフレア予測指標は、全電流ホリシティ（TOTUSJH）、全垂直電流密度（USFLUX）、R VALUE、全絶対値フラックス（TOTUSJZ）、全絶対値ねじれ（TOTABSTWIST）であった。
• R VALUE などの特徴量は、非フレア領域で二峰性分布を示し、分散が増加することで分離性が向上し、モデルの識別性能が向上した。
• 内部相関を最小限に抑えた場合、特徴量の削減に対してもモデル性能が安定しており、特徴量選択の高い効率性を示した。
• 深刻な宇宙天気指標（CSW）指標により、非フレアクラスにおける分布が鋭く分散が小さいため、ABSNJZH、SAVNCPP、TOTFZ、TOTPOT などの特徴量がCSW最適化下で順位が向上した。
• 本研究は、高精度なモデルと主要な物理的指標を体系的に同定可能であることを確認し、より正確で効率的な運用フレア予測の実現に貢献した。