[논문 리뷰] Adversarial autoencoders and adversarial LSTM for improved forecasts of urban air pollution simulations

César Quilodrán Casas, Rossella Arcucci외 3명|arXiv (Cornell University)|2021. 04. 13.

Wind and Air Flow Studies참고 문헌 18인용 수 19

한 줄 요약

이 논문은 CFD 시뮬레이션에서 도시 대기 오염 장기 예측을 향상시키기 위해 PCA 기반의 적대적 오토인코더(PC-AAE)와 적대적으로 훈련된 LSTM을 조합한 이단계적 딥러닝 프레임워크를 제안한다. 적대적 훈련을 통해 잠재 공간의 일관성을 강제함으로써 물리 모델에서의 예측 산산이 줄어들게 되었으며, CFD에 비해 4개의 지수배 빠른 예측 속도를 달성하면서도 80개 시간단계 동안 영국 사우스 런던 시뮬레이션에서 뛰어난 정확도와 물리적 현실성 확보를 이룩했다.

ABSTRACT

This paper presents an approach to improve the forecast of computational fluid dynamics (CFD) simulations of urban air pollution using deep learning, and most specifically adversarial training. This adversarial approach aims to reduce the divergence of the forecasts from the underlying physical model. Our two-step method integrates a Principal Components Analysis (PCA) based adversarial autoencoder (PC-AAE) with adversarial Long short-term memory (LSTM) networks. Once the reduced-order model (ROM) of the CFD solution is obtained via PCA, an adversarial autoencoder is used on the principal components time series. Subsequentially, a Long Short-Term Memory network (LSTM) is adversarially trained on the latent space produced by the PC-AAE to make forecasts. Once trained, the adversarially trained LSTM outperforms a LSTM trained in a classical way. The study area is in South London, including three-dimensional velocity vectors in a busy traffic junction.

연구 동기 및 목표

• 장기 예측 시 표준 RNN 기반의 서rogate 모델이 물리적 CFD 해석으로부터 급격히 발산하는 문제를 해결하기 위해.
• 도시 대기 오염 시뮬레이션의 감소된 순서 모델(ROM)에서 데이터 압축 및 예측 안정성을 향상시키기 위해.
• 적대적 훈련을 통해 모델의 잠재 공간을 사전 분포와 일치시켜 일반화 능력과 물리적 타당성을 향상시키기 위해.
• 충분한 훈련 데이터가 있는 다양한 CFD 모델에 적용 가능한 데이터에 종속되지 않은 확장 가능한 프레임워크를 개발하기 위해.

제안 방법

• CFD 시뮬레이션에서의 3D 속도장에 대해 PCA 기반 차원 축소를 적용하여 첫 번째 τ개의 주성분(PC)을 유지함으로써 감소된 순서 모델(ROM)을 구성한다.
• PC 시간 시리즈에 대해 PCA 기반의 적대적 오토인코더(PC-AAE)를 훈련시키며, 생성기(에코더-디코더)와 판별기(discriminator)를 사용하여 잠재 공간의 집합된 사후분포를 표준 정규 사전분포와 일치시킨다.
• 재생성 기법을 사용하여 확률적 잠재 변수를 통해 역전파를 가능하게 하여 오토인코더의 미분 가능한 훈련을 보장한다.
• PC-AAE에서 생성된 잠재 공간에 대해 적대적으로 훈련된 LSTM(ALSTM)을 훈련시키며, 판별기가 생성된 잠재 시퀀스와 실제 잠재 시퀀스 간의 일관성을 강제한다.
• ALSTM은 자동적으로 미래의 잠재 상태를 예측함으로써 예측을 생성하며, 이후 PC-AAE 디코더를 통해 전체 공간의 속도장으로 복원한다.
• 프레임워크는 100,040개 노드와 1,000개 시간단계를 가진 영국 사우스 런던의 3D 도시 대기 오염 시뮬레이션에서 평가되었으며, 실제 경계 조건을 반영한 720m×676m×250m 영역을 사용하였다.

실험 결과

연구 질문

• RQ1 CFD 시뮬레이션에서 주성분의 압축 및 재구성 정밀도를 향상시키기 위해 적대적 훈련된 오토인코더의 성능은 어떠한가?
• RQ2 PC-AAE의 잠재 공간에서 LSTM에 대해 적대적 훈련을 적용하면 장기 예측 시 물리 모델에서의 예측 발산이 줄어들 수 있는가?
• RQ3 제안된 ALSTM 프레임워크는 전통적인 LSTM과 단순한 PC 절단 기법에 비해 예측 정확도와 물리적 현실성 측면에서 어떻게 비교되는가?
• RQ4 잠재 공간 차원 수(τ)가 변할 경우에도 프레임워크의 성능이 유의미하게 저하되지 않는가?
• RQ5 적대적 훈련이 도시 대기 오염 예측을 위한 서rogate 모델의 일반화 능력과 강건성에 얼마나 기여하는가?

주요 결과

• PC-AAE는 주성분의 단순 절단보다 재구성 오차에서 뛰어난 성능을 보였으며, τ = 4, 8, 16, 32와 같은 다양한 잠재 차원에서 일관된 성능을 보였다.
• 80개 시간단계 후, 적대적으로 훈련된 LSTM(ALSTM)은 전통적인 LSTM 대비 40%의 예측 오차 감소를 이룩했으며, 앙상블 예측에서 평균 절대 오차와 표준편차가 유의미하게 낮았다.
• 80개 시간단계 후, 전통적인 LSTM의 예측은 지표값에서 뚜렷하게 벗어나 있었지만, ALSTM은 시각적 검토를 통해 소용돌이와 난류와 같은 핵심 물리적 특징을 유지하였다. 이는 그림 3에서 확인할 수 있다.
• ALSTM은 전체 CFD 시뮬레이션 대비 4개의 지수배 빠른 속도를 달성하여 실시간에 가까운 예측이 가능했다.
• 잠재 공간 차원에 대해 프레임워크는 강건성을 보였으며, 최적 성능은 τ = 8에서 관찰되었으며, 전체 공간에서 잠재 공간으로의 5개 지수배 압축을 달성했다.
• 판별기가 효과적으로 잠재 공간을 제약하여 분포 외 샘플을 방지하고 장기 예측의 안정성을 향상시켰다.