[논문 리뷰] Adversarially trained LSTMs on reduced order models of urban air pollution simulations

César Quilodrán Casas, Rossella Arcucci외 2명|arXiv (Cornell University)|2021. 01. 05.

Wind and Air Flow Studies참고 문헌 17인용 수 13

한 줄 요약

이 논문은 도시 대기_POLLUTION CFD 시뮬레이션의 적절한 직교 분해(POD) 기반 감소 차원 모델(ROMs)에 대해 적대적 훈련을 적용한 LSTM을 제안하여 예측 정확도와 안정성을 향상시킨다. 주성분 분석(PCA)으로 감소된 상태 벡터와 적대적 훈련을 융합함으로써, 시간이 지남에 따라 발산을 방지하는 더 빠르고 강건한 예측이 가능해지며, 검증 데이터에서 표준 LSTMs 대비 오차 감소율 최대 56%를 기록한다. 이와 동시에 실시간에 가까운 추론 속도를 유지한다.

ABSTRACT

This paper presents an approach to improve computational fluid dynamics simulations forecasts of air pollution using deep learning. Our method, which integrates Principal Components Analysis (PCA) and adversarial training, is a way to improve the forecast skill of reduced order models obtained from the original model solution. Once the reduced-order model (ROM) is obtained via PCA, a Long Short-Term Memory network (LSTM) is adversarially trained on the ROM to make forecasts. Once trained, the adversarially trained LSTM outperforms a LSTM trained in a classical way. The study area is in London, including velocities and a concentration tracer that replicates a busy traffic junction. This adversarially trained LSTM-based approach is used on the ROM in order to produce faster forecasts of the air pollution tracer.

연구 동기 및 목표

• CFD 시뮬레이션을 활용해 실시간 도시 대기 오염 예측을 위한 빠르고 정확한 서rogate 모델을 개발하기 위해.
• 훈련 데이터를 초월해 예측할 때 표준 LSTM 기반 ROMs에서 오차 전파와 예측 발산 문제를 해결하기 위해.
• 적대적 훈련을 LSTM 기반 ROMs와 융합하여 예측의 강건성과 물리적 타당성을 향상시키기 위해.
• 전체 CFD 시뮬레이션의 계산 비용의 일부분에 불과한 비용으로 실시간에 가까운 예측을 가능하게 하기 위해.
• 충분한 데이터가 확보된 다양한 CFD 변수 및 시뮬레이션에 적용 가능한 데이터에 종속되지 않는 프레임워크를 구축하기 위해.

제안 방법

• 비정규 메esh에서 유도된 고차원 CFD 시뮬레이션 데이터에 대해 적절한 직교 분해(POD)를 통해 감소 차원 모델(ROMs)을 구축한다.
• POD 과정에서 주성분(PCs)을 잘라내어 차원을 감소시키면서도 주요 분산을 유지함으로써 효율적인 계산을 가능하게 한다.
• 기본 LSTM을 사용하여 이전 N개의 시간 단계를 입력으로 받아 다음 시간 단계의 PC 계수를 예측하도록 훈련한다.
• 적대적 훈련을 위해 판별자 네트워크를 도입하여 실제 ROM 상태와 LSTM에 의해 생성된 예측 상태를 구분하며, 이진 교차 엔트로피 손실을 사용한다.
• 생성자(LSTM)는 판별자를 속이도록 훈련되어 장기 예측의 현실성과 안정성이 향상된다.
• 생성자에 대한 조각별 평균 제곱오차 손실과 판별자에 대한 적대적 손실을 사용하여 프레임워크를 종합적으로 훈련한다.

실험 결과

연구 질문

• RQ1 적대적 훈련은 도시 대기 오염의 감소 차원 모델에 기반한 LSTM 기반 예측의 장기적 안정성과 정확도를 향상시킬 수 있는가?
• RQ2 적대적 훈련은 표준 지도 학습 훈련 대비 시간이 지남에 따라 예측 발산을 줄이는 데 얼마나 효과적인가?
• RQ3 적대적으로 훈련된 LSTMs는 CFD 기반 대기 질 시뮬레이션에서 물리적 현실성을 어느 정도 유지할 수 있는가?
• RQ4 제안된 방법은 전체 CFD 시뮬레이션 대비 계산 효율성에서 얼마나 향상되는가?
• RQ5 이 프레임워크는 다양한 변수(예: 속도, 트레이서 농도) 및 시뮬레이션 유형 간 일반화가 가능한가?

주요 결과

• 적대적으로 훈련된 LSTM(LSTM^{adv})는 검증 데이터에서 트레이서 농도 예측 오차를 표준 LSTM(LSTM^{classic}) 대비 최대 56.29% 감소시켰다.
• 속도 성분의 경우 오차 감소율은 21.07%에서 51.39% 사이로 나타났으며, 128개의 PC에서 가장 높은 향상이 관찰되었다.
• 25개의 예측 단계 이후, 표준 LSTM는 진짜 상태에서 크게 벗어나지만, 적대적으로 훈련된 LSTM는 물리적 흐름 패턴을 유지하며 진짜 상태에 가까이 머물러 있었다.
• 이 방법은 전체 CFD 시뮬레이션 대비 약 4개의 지수 차수 빠른 예측 속도를 달성하여 실시간 적용이 가능했다.
• 판별자는 LSTM의 예측을 효과적으로 제약하여 분포 외 이격 현상(Out-of-distribution drift)을 줄이고 강건성을 향상시켰다.
• 이 프레임워크는 다양한 변수(속도 및 트레이서)와 PCA 잘라내기 수준(64 및 128개의 PC)에서 일관된 성능을 보였다.