[논문 리뷰] Orders-of-magnitude speedup in atmospheric chemistry modeling through neural network-based emulation

Makoto Kelp, Christopher W. Tessum외 1명|arXiv (Cornell University)|2018. 08. 11.

Air Quality Monitoring and ForecastingEnvironmental Science인용 수 20

한 줄 요약

이 논문은 대기화학 모델에서 CBM-Z 화학 메커니즘을 위한 딥 뉴럴 네트워크 에미저를 제시하며, CPU 기준 250배, GPU 기준 4,250배의 속도 향상을 이룩했고, 중앙값 RMSE는 0.02 ppb 미만을 기록했다. 모델은 다양한 조건에서 77개 성분의 농도 변화를 한 시간 단위로 정확하게 재현하여, 핵심 화학 역학을 유지하면서도 빠른 시뮬레이션을 가능하게 했다.

ABSTRACT

Chemical transport models (CTMs), which simulate air pollution transport, transformation, and removal, are computationally expensive, largely because of the computational intensity of the chemical mechanisms: systems of coupled differential equations representing atmospheric chemistry. Here we investigate the potential for machine learning to reproduce the behavior of a chemical mechanism, yet with reduced computational expense. We create a 17-layer residual multi-target regression neural network to emulate the Carbon Bond Mechanism Z (CBM-Z) gas-phase chemical mechanism. We train the network to match CBM-Z predictions of changes in concentrations of 77 chemical species after one hour, given a range of chemical and meteorological input conditions, which it is able to do with root-mean-square error (RMSE) of less than 1.97 ppb (median RMSE = 0.02 ppb), while achieving a 250x computational speedup. An additional 17x speedup (total 4250x speedup) is achieved by running the neural network on a graphics-processing unit (GPU). The neural network is able to reproduce the emergent behavior of the chemical system over diurnal cycles using Euler integration, but additional work is needed to constrain the propagation of errors as simulation time progresses.

연구 동기 및 목표

• 화학 이동 모델(CCTM)의 계산 비용을 줄이기 위해, 비용이 많이 드는 화학 메커니즘 계산의 제약를 해소하기 위해.
• CBM-Z 화학 메커니즘의 거동를 고정밀도로 재현하는 기계학습 서rogate 모델을 개발하기 위해.
• 정확성을 유지하면서 일일 주기 동안 대기화학의 빠른 시뮬레이션을 가능하게 하기 위해.
• 심층학습을 활용해 대기질 모델링에서 복잡한 결합 미분방정식 시스템을 에미터링하는 것이 가능한지 평가하기 위해.

제안 방법

• 17층의 잔차 다중목표 회귀 뉴럴 네트워크를 사용하여, 대기 처리 후 1시간 동안 77개 화학 성분의 농도 변화를 예측하도록 훈련시켰다.
• 초기 농도, 배출량, 기상 변수를 입력으로 사용하며, 출력은 CBM-Z 모델 예측 결과와 일치하도록 훈련시켰다.
• 다양한 화학적 및 기상 조건에서의 CBM-Z 시뮬레이션 대량 데이터셋을 사용하여 모델을 훈련시켰다.
• 훈련된 뉴럴 네트워크를 CPU와 GPU에서 실행하여 계산 속도 향상 및 추론 효율성을 평가했다.
• Euler 적분을 사용하여 일일 주기 시뮬레이션을 수행하였으며, 에미저가 시간이 지남에 따라 발생하는 화학적 행동을 유지할 수 있는지 테스트했다.
• 장기적 안정성과 정확도를 평가하기 위해 오차 전파를 모니터링했다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 다양한 대기 조건에서 CBM-Z 화학 메커니즘을 정확하게 에미터링할 수 있는가?
• RQ2 뉴럴 네트워크 서rogate는 대기화학 모델링에서 계산 시간을 얼마나 줄일 수 있는가?
• RQ3 에미저는 일일 주기 동안 화학 시스템의 잠재적 행동을 얼마나 잘 유지하는가?
• RQ4 장기간 시뮬레이션 기간 동안 뉴럴 네트워크 에미저에서 오차가 누적되는 영향은 어떠한가?

주요 결과

• 뉴럴 네트워크 에미저는 77개 화학 성분 전반에 걸쳐 중앙값 루트 평균 제곱 오차(RMSE)가 0.02 ppb이며, 최대 RMSE는 1.97 ppb 미만을 기록했다.
• 원래의 CBM-Z 모델 대비 CPU에서 실행할 경우 250배의 속도 향상을 달성했다.
• GPU에서 실행할 경우 추가로 17배의 속도 향상이 이루어져 총 4,250배의 속도 향상이 이루어졌다.
• 에미저는 Euler 적분을 사용하여 일일 주기 동안 화학 시스템의 잠재적 행동을 성공적으로 재현했다.
• 오차 전파 문제는 여전히 도전 과제이며, 장기 시뮬레이션의 안정성을 확보하기 위해 향후 연구가 필요하다.
• 훈련된 모델과 훈련 코드는 해당 저자의 요청에 따라 연구용도로 공개 가능하다.