[논문 리뷰] Compressing multidimensional weather and climate data into neural networks

Langwen Huang, Torsten Hoefler|arXiv (Cornell University)|2022. 10. 22.

Meteorological Phenomena and Simulations인용 수 6

한 줄 요약

이 논문은 좌표 기반 모델을 학습시켜 다차원 기상 및 기후 데이터를 연속 함수로 표현하는 신경망 기반 압축 방법을 제안한다. 이 방법은 최신 기술인 SZ3 압축기보다 낮은 가중 평균 제곱근 오차와 평균 절대 오차를 기록하며 300배에서 3,000배 이상의 압축 비율을 달성한다. 이는 대규모 대기 구조를 유지하고, 자유로운 보간을 지원하는 고속이고 병렬 처리 가능한 데이터 접근을 가능하게 한다.

ABSTRACT

Weather and climate simulations produce petabytes of high-resolution data that are later analyzed by researchers in order to understand climate change or severe weather. We propose a new method of compressing this multidimensional weather and climate data: a coordinate-based neural network is trained to overfit the data, and the resulting parameters are taken as a compact representation of the original grid-based data. While compression ratios range from 300x to more than 3,000x, our method outperforms the state-of-the-art compressor SZ3 in terms of weighted RMSE, MAE. It can faithfully preserve important large scale atmosphere structures and does not introduce artifacts. When using the resulting neural network as a 790x compressed dataloader to train the WeatherBench forecasting model, its RMSE increases by less than 2%. The three orders of magnitude compression democratizes access to high-resolution climate data and enables numerous new research directions.

연구 동기 및 목표

• 페타바이트 규모의 기상 및 기후 시뮬레이션 데이터를 저장하고 접근하는 데 증가하는 도전에 대응하기 위해.
• 데이터 접근을 제한하고 대역폭을 감소시키는 블록 기반 압축 방법의 한계를 극복하기 위해.
• 공간과 시간의 연속 함수로서 지구물리학적 변수의 기능적이고 미분 가능한 표현을 개발하기 위해.
• 기계 학습 및 과학적 분석을 위한 고압축, 저지연 데이터 검색을 가능하게 하기 위해.
• 고압축 환경에서 잡음과 오차를 최소화하면서도 대규모 대기 구조를 유지하기 위해.

제안 방법

• 3차원 데카르트 좌표(구면좌표에서 변환됨)를 지구물리학적 변수의 스칼라 값으로 매핑하는 좌표 기반 신경망을 학습시킨다.
• 고주파 수치의 공간 및 시간 신호를 모델링할 수 있도록 입력 좌표를 푸리에 특징 매핑을 통해 임bedding한다.
• 학습 및 일반화를 향상시키기 위해 깊은 완전 연결 구조, 잔차(스킵) 연결, 배치 정규화, GELU 활성화 함수를 사용한다.
• 학습 후, 네트워크 가중치를 float32에서 float16으로 정밀도를 낮춰 추가로 압축 비율을 높이되 정확도 손실은 최소화한다.
• 장위도/경도를 단위 구면 위의 3차원 데카르트 좌표로 변환하여 주기적 경계 조건을 구현한다.
• 학습된 네트워크는 임의의 좌표 질의와 보간을 지원하는 컴act하고 미분 가능한 데이터 로더로 기능한다.

실험 결과

연구 질문

• RQ1 다차원 기상 및 기후 데이터에 대해 고정밀도, 저밀도 대체 수단으로서 신경망을 학습시킬 수 있는가?
• RQ2 이 신경망 방법의 압축 품질이 RMSE, MAE 및 구조 보존 측면에서 최신 기술인 블록 기반 압축기인 SZ3와 비교해 어떻게 되는가?
• RQ3 압축된 신경망 표현이 front나 저공기 기류와 같은 대규모 대기 구조를 어느 정도 유지할 수 있는가?
• RQ4 이 신경망 표현이 WeatherBench와 같은 하위 기계 학습 모델 훈련을 위한 데이터 로더로 효과적으로 사용될 수 있는가, 성능 저하가 최소한인가?
• RQ5 이 방법은 허리케인과 같은 희귀한 극단적 사건을 얼마나 잘 다루며, 급격한 기울기나 고영향도 특징을 포착하는 데에는 어떤 한계가 있는가?

주요 결과

• 이 방법은 다양한 테스트 데이터셋에서 300배에서 3,000배 이상의 압축 비율을 기록하며, 최신 기술인 SZ3보다 가중 평균 제곱근 오차와 평균 절대 오차에서 뛰어난 성능을 보였다.
• 1,150배의 압축 비율에서, 허리케인 매ทธ류 이벤트의 대규모 대기 구조를 최소한의 왜곡으로 유지하였다.
• 압축된 신경망 표현은 SZ3보다 더 적은 잡음과 기능을 유지하며, 최대 오차는 더 높지만 0.99999-분위수 절대 오차는 SZ3와 유사한 성능을 기록하였다.
• WeatherBench 모델의 테스트 RMSE가 2% 미만으로 증가하여, 기계 학습 훈련 파이프라인과의 뛰어난 호환성을 입증하였다.
• 허리케인의 중심과 같은 소규모 특징의 극단적 값을 포착하는 데는 어려움을 겪으며, 유도적 편향으로 인해 종종 부드럽게 처리된다.
• 이 방법은 질의 크기에 비례하는 비용으로 고속이고 병렬 처리 가능한 데이터 접근을 가능하게 하며, 그리드가 아닌 점들에서도 자유로운 보간을 지원하여 전통적 압축기와의 핵심적 우월성을 확보한다.