[논문 리뷰] A Machine-Learning-Ready Dataset Prepared from the Solar and Heliospheric Observatory Mission

Carl Shneider, Andong Hu외 5명|arXiv (Cornell University)|2021. 08. 04.

Solar and Space Plasma Dynamics인용 수 7

한 줄 요약

이 논문은 태양 및 헬리오스피어틱 오비저버(SoHO) 임무에서 유래한 기계학습용 준비된 데이터셋과 오픈소스 파이프라인을 제시한다. 이는 우주 날씨 예측을 위한 표준화되고 재현 가능한 학습을 가능하게 한다. 이 도구는 SoHO의 다중 스펙트럼 이미지(MDI, EIT, LASCO)를 처리하여 데이터 무결성 검사, 통과 필터링, 시간 동기화를 수행하며, 깔끔하고 바로 사용 가능한 데이터셋을 생성한다. 이는 딥 컨볼루션 신경망과 가우시안 나이브 베이즈 기반 모델을 사용한 L1 지점에서 3~5일 전의 간섭 자기장(Bz) 예측을 통해 성능 향상을 입증한다.

ABSTRACT

We present a Python tool to generate a standard dataset from solar images that allows for user-defined selection criteria and a range of pre-processing steps. Our Python tool works with all image products from both the Solar and Heliospheric Observatory (SoHO) and Solar Dynamics Observatory (SDO) missions. We discuss a dataset produced from the SoHO mission's multi-spectral images which is free of missing or corrupt data as well as planetary transits in coronagraph images, and is temporally synced making it ready for input to a machine learning system. Machine-learning-ready images are a valuable resource for the community because they can be used, for example, for forecasting space weather parameters. We illustrate the use of this data with a 3-5 day-ahead forecast of the north-south component of the interplanetary magnetic field (IMF) observed at Lagrange point one (L1). For this use case, we apply a deep convolutional neural network (CNN) to a subset of the full SoHO dataset and compare with baseline results from a Gaussian Naive Bayes classifier.

연구 동기 및 목표

• 기계학습 모델을 태양 이미지 데이터에 적용하기 위한 표준화되고 고품질이며 재현 가능한 데이터셋의 부족 문제를 해결하기 위해.
• MDI, EIT, LASCO에서 온 SoHO 이미지를 자동으로 데이터 무결성 검사 및 누락 데이터 및 행성 통과 현상 필터링을 통해 처리하는 모듈러하고 오픈소스인 파이썬 도구를 개발하기 위해.
• 손상되거나 누락된 이미지가 없는 시간에 동기화된 깔끔한 데이터셋을 생성하여 기계학습 시스템에 직접 입력할 수 있도록 하기 위해.
• 딥 러닝과 전통적 분류기 기반으로 SoHO 이미지를 사용하여 L1 지점에서 3~5일 전의 간섭 자기장(IMF) Bz를 예측하는 실험을 통해 데이터셋의 유용성을 입증하기 위해.
• 태양 이미지 데이터를 활용한 우주 날씨 예측 분야에서 공동 연구를 위한 표준 기준을 설정하기 위해.

제안 방법

• 파이프라인은 SunPy의 Fido 및 DRMS 인터페이스를 사용하여 JSOC와 SDAC에서 FITS 형식으로 SoHO 이미지 데이터를 쿼리하고 검색한다.
• 자동화된 필터링을 적용하여 누락된 데이터, '구멍', 줄무늬, 또는 행성 통과 현상이 있는 이미지를 제거하여 데이터의 무결성을 확보한다.
• 시간 기반으로 SoHO의 여러 기구(MDI, EIT, LASCO) 간 이미지를 동기화하여 시간에 맞춘 데이터셋을 생성한다.
• 로컬 FITS 파일 생성과 함께 사전 처리된 HDF5 데이터 큐브를 직접 사용할 수 있도록 지원하여 기계학습 워크플로우의 효율성을 높인다.
• 사용자 설정이 가능한 리샘플링 전략을 지원하며, 기각된 파일에 대한 클릭 가능한 URL을 출력하여 투명성과 재현 가능성을 향상시킨다.
• 도구는 모듈러하고 확장 가능하여 SunPy 생태계에서 지원하는 다른 데이터 제공자와의 통합도 가능하다.

실험 결과

연구 질문

• RQ1 장기간에 걸친 다중 기기 SoHO 임무 데이터에서 체계적으로 표준화되고 기계학습에 적합한 데이터셋을 생성할 수 있는가?
• RQ2 데이터 손상 및 행성 통과 현상을 제거함으로써 기계학습 모델의 우주 날씨 예측 성능에 어떤 영향을 미치는가?
• RQ3 딥 컨볼루션 신경망(CNN)이 SoHO 이미지를 사용하여 L1 지점에서 3~5일 전의 간섭 자기장 Bz를 예측할 때, 가우시안 나이브 베이즈(GNB) 분류기보다 얼마나 뛰어나게 성능을 내는가?
• RQ4 LASCO 이미지에서 F-코로나 성분을 제거함으로써 TSS 및 MCC와 같은 모델 성능 지표에 어떤 영향을 미치는가?
• RQ5 모듈러하고 오픈소스인 파이프라인이 우주 날씨 예측 모델의 재현 가능하고 공동 연구 기반의 벤치마크를 가능하게 할 수 있는가?

주요 결과

• 기계학습에 적합한 데이터셋은 누락된 데이터, 손상된 이미지, 행성 통과 현상이 전혀 없으며, SoHO 기기 간에 모든 이미지가 시간에 동기화되어 있다.
• F-코로나를 제거한 5% 임계값에서 MDI, EIT, LASCO 이미지의 특징을 사용한 가우시안 나이브 베이즈 분류기(GNB)는 진성 양성률(TPR) 89%와 진성 음성률(TNR) 89%를 기록했다.
• F-코로나 제거 모델은 TSS 점수 0.78과 MCC 점수 0.41을 기록하여 F-코로나가 존재하는 모델(TSS: 0.68, MCC: 0.33)보다 성능이 뛰어났다.
• 최적화되지 않은 딥 컨볼루션 신경망(CNN) 모델도 예측 능력을 보였으며, 향후 아키텍처 조정을 통해 GNB 기반 모델을 뛰어넘을 수 있음을 시사한다.
• 파이프라인의 모듈러 설계 덕분에 다른 데이터 제공자와의 통합이 가능하며, 로컬 FITS와 사전 처리된 HDF5 출력을 모두 지원하여 사용성과 성능을 향상시킨다.
• 본 연구는 SoHO 이미지가 우주 날씨 예측에 충분한 정보를 담고 있음을 확인하였으며, 이 데이터셋을 기반으로 한 공동 연구의 확산을 장려한다.