[논문 리뷰] Explainable Offline-Online Training of Neural Networks for Parameterizations: A 1D Gravity Wave-QBO Testbed in the Small-data Regime

Hamid A. Pahlavan, Pedram Hassanzadeh외 1명|arXiv (Cornell University)|2023. 09. 16.

Meteorological Phenomena and Simulations참고 문헌 44인용 수 6

한 줄 요약

이 연구는 기후 모델 내 신경망 기반의 파arameterization을 위한 오프라인-온라인 학습 전략을 제안한다. 오프라인으로 18개월 분량의 소규모 데이터로 훈련한 12층의 CNN은 현실적인 준이년주기 진동(QBO) 역학을 생성하지 못하지만, 시간 평균 QBO 통계 자료를 사용해 온라인으로 단지 두 층을 재학습함으로써 온라인 칼만 역행렬(ensemble Kalman inversion, EKI)을 통해 정확도를 복원한다. 푸리에 분석을 통해 네트워크가 중력파 역학과 일치하는 저역통과, 고역통과, 대역통과 필터를 학습하고 있음을 밝혀냈다.

ABSTRACT

There are different strategies for training neural networks (NNs) as subgrid-scale parameterizations. Here, we use a 1D model of the quasi-biennial oscillation (QBO) and gravity wave (GW) parameterizations as testbeds. A 12-layer convolutional NN that predicts GW forcings for given wind profiles, when trained offline in a big-data regime (100-years), produces realistic QBOs once coupled to the 1D model. In contrast, offline training of this NN in a small-data regime (18-months) yields unrealistic QBOs. However, online re-training of just two layers of this NN using ensemble Kalman inversion and only time-averaged QBO statistics leads to parameterizations that yield realistic QBOs. Fourier analysis of these three NNs' kernels suggests why/how re-training works and reveals that these NNs primarily learn low-pass, high-pass, and a combination of band-pass filters, consistent with the importance of both local and non-local dynamics in GW propagation/dissipation. These findings/strategies apply to data-driven parameterizations of other climate processes generally.

연구 동기 및 목표

• 기후 모델 내 미세구조 과정을 위한 데이터 부족 문제를 해결하고 물리적 제약 조건이 부여된 신경망 파arameterization의 학습에 도전한다.
• 소규모 데이터로 오프라인 학습한 후 성능 저하가 발생하는 신경망 기반 중력파 파arameterization에서, 온라인 재학습이 이를 보완할 수 있는지 조사한다.
• 온라인 학습에 전고해상도 데이터 대신 시간 평균 대규모 통계 자료를 사용할 수 있는지 탐색한다.
• 푸리에 분석을 통해 학습된 필터의 기능적 역할을 이해하고 네트워크 행동과 물리적 파동 역학을 연결한다.
• 물리적 제약 조건이 부여된 초기화와 효율적인 앙상블 크기 선택이 EKI를 통한 온라인 학습 수렴을 향상시킬 수 있음을 보여준다.

제안 방법

• 100년 분량의 고정밀 중력파 강제력 데이터를 사용해 12층의 컨volutional 신경망(CNN)을 오프라인으로 훈련하여 1D 모델에서 현실적인 QBO를 생성한다.
• 단지 18개월 분량의 데이터(소규모 데이터 환경)로 동일한 CNN을 재학습하면 비물리적인 QBO가 발생하고, 이를 온라인 재학습을 통해 EKI를 적용한다.
• 온라인 EKI 학습 중에는 전체 시계열 데이터를 피하기 위해 시간 평균 QBO 통계 자료(예: 동서 방향 바람 프로파일)만 관측 제약 조건으로 사용한다.
• 훈련된 CNN의 커널에 대해 푸리에 분석을 수행하여 주요 주파수 필터(저역통과, 고역통과, 대역통과)를 식별하고 물리적 의미를 해석한다.
• 고정된 앙상블 크기 200명을 사용해 EKI를 적용하여 CNN의 단지 두 층만 최적화하고, 수렴을 향상시키기 위해 물리적 제약 조건이 부여된 사전 분포를 사용한다.
• 재현 가능성을 확보하기 위해 EKI와 1D-QBO 시뮬레이션에 각각 오픈소스 라이브러리 EnsembleKalmanProcesses.jl과 qbo1d 코드베이스를 사용한다.

실험 결과

연구 질문

• RQ1 소규모 데이터로 훈련한 신경망 파arameterization이 1D QBO 모델에서 실패하는 것을, 시간 평균 통계 자료를 사용한 온라인 재학습이 보완할 수 있는가?
• RQ2 훈련된 신경망이 학습하는 주파수 필터의 유형은 무엇이며, 이는 중력파 전파 및 소멸 과정의 물리적 과정과 어떻게 관련이 있는가?
• RQ3 딥 뉴럴 네트워크의 파rameter 수에 비례해 EKI 학습에 필요한 앙성원 수가 증가하는가, 아니면 네트워크의 효과적 차원 수에 의해 제한되는가?
• RQ4 신경망 가중치의 물리적 제약 조건이 부여된 초기화가 EKI를 통한 온라인 학습의 수렴과 성공률을 향상시킬 수 있는가?
• RQ5 이 오프라인-온라인 학습 전략은 기후 모델의 다른 미세구조 과정 파arameterization 문제로 일반화될 수 있는가?

주요 결과

• 18개월 분량의 소규모 데이터로 오프라인 학습한 결과 비물리적인 QBO가 발생하지만, 100년 분량의 데이터로 오프라인 학습한 결과는 현실적인 QBO 역학을 생성한다.
• 시간 평균 QBO 통계 자료를 사용해 EKI를 통해 단지 두 층만 온라인 재학습하면 현실적인 QBO 행동이 복원되며, 오프라인-온라인 전략의 효과성을 입증한다.
• CNN 커널에 대한 푸리에 분석을 통해 네트워크가 저역통과, 고역통과, 대역통과 필터를 학습하고 있음을 밝혀내었고, 이는 중력파 전파에서 국소적 및 비국소적 파동 역학의 중요성을 반영한다.
• 1000, 5000, 10000개의 파라미터를 가진 다양한 네트워크 크기 조건에서도 오직 200명의 앙성원만으로 EKI 수렴이 달성되었으며, 이는 과도한 파rameter화가 효과적 파arameter 공간 차원 수를 감소시킴을 시사한다.
• 온라인 학습 중 무작위 초기화는 95% 이상의 앙성원에서 실패를 유발했지만, SpArK 프레임워크의 필터 분석을 기반으로 한 물리적 제약 조건이 부여된 사전 분포를 사용하면 성공적인 수렴이 달성되었다.
• 학습된 필터 유형(예: 저역통과, 고역통과)을 기반으로 한 물리적 제약 조건이 부여된 초기화는 EKI를 통한 온라인 학습에서 수렴을 향상시키고 계산 비용을 절감하는 데 효과적인 전략으로 여겨진다.