[논문 리뷰] Navigating the Noise: Bringing Clarity to ML Parameterization Design with O(100) Ensembles

Y. S. Lin, Sungduk Yu외 7명|arXiv (Cornell University)|2023. 09. 28.

Climate variability and models인용 수 5

한 줄 요약

이 논문은 대규모 연계 기후 시뮬레이션에서 330개의 기계학습(ML) 파rameterization을 훈련하고 평가하기 위한 확장 가능한 소프트웨어 파이프라인을 소개하며, 오프라인 성능이 온라인 안정성과는 잘 예측되지 않음을 드러낸다. 주요 개선 사항으로는 기후 불변 특성 변환, 난류 기억 고려, 확장된 입력 벡터 포함이 있으며, 이는 함께 온라인 오차를 감소시키고 시뮬레이션을 안정화시킨다. 이는 미세한 설계 영향을 탐지하기 위해 대규모 온라인 샘플링이 필수적임을 시사한다.

ABSTRACT

Machine-learning (ML) parameterizations of subgrid processes (here of turbulence, convection, and radiation) may one day replace conventional parameterizations by emulating high-resolution physics without the cost of explicit simulation. However, uncertainty about the relationship between offline and online performance (i.e., when integrated with a large-scale general circulation model (GCM)) hinders their development. Much of this uncertainty stems from limited sampling of the noisy, emergent effects of upstream ML design decisions on downstream online hybrid simulation. Our work rectifies the sampling issue via the construction of a semi-automated, end-to-end pipeline for $\mathcal{O}(100)$ size ensembles of hybrid simulations, revealing important nuances in how systematic reductions in offline error manifest in changes to online error and online stability. For example, removing dropout and switching from a Mean Squared Error (MSE) to a Mean Absolute Error (MAE) loss both reduce offline error, but they have opposite effects on online error and online stability. Other design decisions, like incorporating memory, converting moisture input from specific humidity to relative humidity, using batch normalization, and training on multiple climates do not come with any such compromises. Finally, we show that ensemble sizes of $\mathcal{O}(100)$ may be necessary to reliably detect causally relevant differences online. By enabling rapid online experimentation at scale, we can empirically settle debates regarding subgrid ML parameterization design that would have otherwise remained unresolved in the noise.

연구 동기 및 목표

• 하이브리드 물리-기계학습 기후 시뮬레이션의 진전을 저해하는 ML-파rameterized 기후 모델의 불안정한 온라인 성능 문제를 해결하기 위해.
• 입력 특성, 기억, 아키텍처와 같은 설계 선택 사항의 영향을 온라인 시뮬레이션 안정성과 정확도에 대해 체계적으로 평가하기 위해.
• 연계 기후 모델에서 수백 개의 ML 파arameterization을 훈련하고 평가하기 위한 확장 가능하고 자동화된 파이프라인을 개발하기 위해.
• 오프라인과 온라인 오차 통계 간 격차를 정량화하여, 오프라인 지표가 온라인 성능을 잘 예측하지 못함을 보여주기 위해.
• 장기 기후 시뮬레이션에서 외삽 오차를 줄이고 모델 안정성을 향상시키는 견고한 설계 전략을 규명하기 위해.

제안 방법

• 연계 기후 모델에서 330개의 서로 다른 신경망 파arameterization을 자동 훈련 및 배포할 수 있도록 하는 종단 간 모듈식이고 재현 가능한 소프트웨어 파이프라인을 개발하였다.
• 네 가지 구성(상대습도(RH), 확장된 벡터(EV), 파라미터화된 시간(PT), 비인과적 기준(Baseline))에 걸쳐 체계적인 초모수 및 아키텍처 검색을 수행하였다.
• 기후 불변 특성 변환(예: 혼합비율을 상대습도로 변환)을 적용하여 동적 시뮬레이션에서의 외삽 오차를 감소시켰다.
• 신경망에 시간 기억을 통합하여 온라인 시뮬레이션에서 시간 단위 간 예측 일관성을 향상시켰다.
• 대규모 온라인 앙상블 시뮬레이션(O(100))을 수행하여 다양한 구성 간 후속 성능를 샘플링하고 비교하였다.
• 통계 분석을 통해 유사한 오프라인 오차를 보이는 모델들 사이에서도 온라인 오차 분포의 유의미한 차이를 탐지하였다.

Figure 1: Comparing offline test errors for subgrid heating (1a) and moistening (1b) tendencies, ranked by the overall validation mean-squared error, highlights the PT configuration’s consistent superiority over other setups (purple line). The ability to minimize offline test error is weakest for th

실험 결과

연구 질문

• RQ1 ML-파라미터화된 기후 시뮬레이션에서 오프라인 모델 성능과 온라인 안정성 간 상관관계는 어떻게 되는가?
• RQ2 기후 불변 특성 변환은 온라인 시뮬레이션에서 외삽 오차를 어느 정도 감소시키는가?
• RQ3 신경망 파라미터화에 시간 기억을 통합할 경우 온라인 시뮬레이션 안정성에 어떤 영향을 미치는가?
• RQ4 다양한 입력 특성 집합(예: 확장된 입력 대비 최소 입력)은 온라인 오차 분산과 모델 신뢰성에 어떤 영향을 미치는가?
• RQ5 ML 파라미터화의 설계 선택 사항 성능 영향을 신뢰성 있게 탐지하기 위해 어느 정도의 온라인 샘플링 스케일이 필요한가?

주요 결과

• 오프라인 오차는 온라인 성능을 잘 예측하지 못하며, 유사한 오프라인 지표를 가진 모델들 사이에서도 온라인 오차에 상당한 변동성이 존재한다.
• 입력 특성을 기후 불변으로 변환(예: 혼합비율 대신 상대습도 사용)하면 외삽 오차가 크게 감소하고 시뮬레이션 안정성이 향상된다.
• 신경망 아키텍처에 시간 기억을 통합하면 비인과적 대비 모델 대비 더 일관되고 안정적인 온라인 성능을 보인다.
• 인과적으로 관련된 변수를 포함하도록 입력 특성 벡터를 확장하면 온라인 오차가 감소하고 모델의 강건성이 향상된다.
• 우수한 성능을 보이는 모델들 전반에 걸쳐 지속적인 성층권 편향이 관찰되어, 이는 대응 설계 개선이 필요한 심각한 약점임을 시사한다.
• 고분산의 온라인 오차를 감안할 때 설계 선택 사항의 통계적 영향을 신뢰성 있게 탐지하기 위해 최소 330개의 온라인 시뮬레이션(O(100) 앙상블)가 필요하다.

Figure 2: 2a and 2b show histograms of the average temperature and humidity RMSE for neural network runs that did not crash. The legend in 2b indicates the number of plots that ran without crashing for each configuration. Both histograms include stratospheric error.