[논문 리뷰] Deep-AIR: A Hybrid CNN-LSTM Framework forFine-Grained Air Pollution Forecast

Qi Zhang, Jacqueline C. K. Lam외 2명|arXiv (Cornell University)|2020. 01. 29.

Air Quality Monitoring and Forecasting참고 문헌 22인용 수 16

한 줄 요약

이 논문은 공간적 특징 추출을 위해 잔차 컨볼루션 신경망(ResNet)인 AirRes를 활용하고 시간적 패턴을 모델링하기 위해 LSTM를 통합한 하이브리드 CNN-LSTM 모델인 Deep-AIR을 제안한다. 이는 고해상도의 정밀한 대기오염 예측을 가능하게 한다. 모델은 PM2.5 예측에서 테스트 오차 27.1%를 기록하며, LSTM, ConvLSTM, ResNet-LSTM와 같은 기준 모델들을 능가하는 성능을 보이며, 도시 대기질 데이터의 공간적 및 시간적 상관관계를 효과적으로 활용함으로써 뛰어난 정확도를 입증한다.

ABSTRACT

Poor air quality has become an increasingly critical challenge for many metropolitan cities, which carries many catastrophicphysical and mental consequences on human health and quality of life. However, accurately monitoring and forecasting air qualityremains a highly challenging endeavour. Limited by geographically sparse data, traditional statistical models and newly emergingdata-driven methods of air quality forecasting mainly focused on the temporal correlation between the historical temporal datasets of airpollutants. However, in reality, both distribution and dispersion of air pollutants are highly location-dependant. In this paper, we proposea novel hybrid deep learning model that combines Convolutional Neural Networks (CNN) and Long Short Term Memory (LSTM)together to forecast air quality at high-resolution. Our model can utilize the spatial correlation characteristic of our air pollutant datasetsto achieve higher forecasting accuracy than existing deep learning models of air pollution forecast.

연구 동기 및 목표

• 기존 대기질 예측 모델이 주로 시간적 상관관계에 집중하고 공간적 의존성을 忽시하는 한계를 해결하기 위해.
• 모니터링 스테이션 없이도 고해상도의 도시 전역 대기오염 예측을 가능하게 하는 딥러닝 프레임워크를 개발하기 위해.
• LSTM를 통한 시간 동적 특성과 함께 컨볼루션 신경망 구성 요소를 활용해 공간 패턴을 명시적으로 모델링함으로써 예측 정확도를 향상시키기 위해.
• 희소한 모니터링 데이터와 지리공간 정보를 활용해 도시 전역에서 비용 효율적이고 정밀한 대기질 추정을 가능하게 하기 위해.
• 베이징에서의 실제 조건에서 PM2.5, PM10, NO2, CO, O3 등 다양한 오염물질에 대해 모델의 성능을 평가하기 위해.

제안 방법

• Deep-AIR 프레임워크는 3×3 컨볼루션, 배치 정규화, ReLU 활성화 함수를 갖춘 잔차 유닛 기반의 공간 인코더(AirRes)를 결합하여 목표 모니터링 스테이션 중심의 15×15 격자 패치에서 공간적 특징을 추출한다.
• 잔차 유닛 간에 1×1 컨볼루션 레이어를 삽입하여 특징 표현력과 기울기 흐름을 향상시킨다.
• 시간 모델링 구성 요소는 히스토리 시간 시리즈 데이터에서 시간적 의존성을 학습하기 위해 은닉 크기가 128이고 시퀀스 창 크기가 48인 LSTM을 사용한다.
• 패치 기반 학습 전략을 사용하여 각 15×15 공간 패치는 목표 스테이션 중심으로 독립적으로 처리되며, 슬라이딩 윈도우 추론을 통해 전체 도시 추론이 가능하다.
• 과적합을 방지하기 위해 검증 오차 기반 조기 정지 기법을 사용하며, 최적화에는 확률적 경사 하강법을 적용한다.
• 모델은 베이징의 역사적 PM2.5 및 기상 데이터를 사용해 엔드 투 엔드로 학습되며, 공식 모니터링 스테이션의 진짜 레이블을 정답 레이블로 사용한다.

실험 결과

연구 질문

• RQ1 하이브리드 CNN-LSTM 아키텍처가 도시 대기오염 데이터의 공간적 및 시간적 상관관계를 효과적으로 모델링하여 예측 정확도를 향상시킬 수 있는가?
• RQ2 전용 공간 특징 추출기(AirRes)를 포함한 모델이 표준 CNN 또는 ConvLSTM에 비해 모니터링 스테이션 간 공간 패턴을 얼마나 잘 포착하는가?
• RQ3 모델이 O3처럼 비정상적 또는 비결정적인 행동을 보이는 오염물질에 대해 얼마나 일반화되는가?
• RQ4 이웃 격자로부터의 공간적 맥락을 활용해 모니터링 스테이션 없이도 신뢰할 수 있는 정밀 예측을 생성할 수 있는가?
• RQ5 잔차 연결 및 1×1 컨볼루션과 같은 아키텍처 구성 요소가 모델의 예측 성능에 미치는 영향은 무엇인가?

주요 결과

• Deep-AIR 모델은 PM2.5 농도 예측에서 테스트 오차 27.1%를 기록하며, LSTM(35.6%), ConvLSTM(32.7%), ResNet-LSTM(28.5%) 등의 기준 모델들을 뛰어넘는 성능을 보였다.
• 테스트 세트에서 예측값과 실제값 간의 상관계수 R²는 0.82로 나타나 강한 상관관계와 예측 일관성을 보였다.
• CO의 경우 테스트 오차가 16.9%로 가장 낮아, 이 오염물질의 시간적 동적 특성을 효과적으로 포착한 것으로 나타났다.
• O3의 경우 테스트 오차가 37.2%로 높아, O3의 비정상적이고 비결정적인 행동이 모델이 안정된 패턴을 학습하는 데 어려움을 주는 것으로 나타났다.
• O3의 경우 훈련 오차(18.9%)와 테스트 오차(37.2%) 간 격차가 크므로, O3 농도의 돌연한 예측 불가능한 변화가 정확한 모델링을 어렵게 한다는 점이 확인되었다.
• 1×1 컨볼루션을 포함한 AirRes 구성 요소는 표준 ResNet-LSTM 설정 대비 성능 향상을 보이며, 아키텍처 내에서 구조화된 공간 특징 학습의 유용성을 확인했다.