[논문 리뷰] Visual Weather Temperature Prediction

Wei-Ta Chu, Kai-Chia Ho외 1명|arXiv (Cornell University)|2018. 01. 25.

Image Enhancement Techniques참고 문헌 15인용 수 3

한 줄 요약

이 논문은 단지 영상 데이터만을 사용하여 시각적 기상 온도 예측을 위한 딥러닝 접근법을 제안한다. 단일 영상의 온도 추정에는 컨볼루션 신경망(CNN)을, 영상 시퀀스의 마지막 영상의 온도 예측에는 LSTM을 활용한 순환신경망(RNN)을 사용한다. 이 방법은 특히 시간적 예측에서 최신 기술 수준(SOTA) 성능을 달성하며, 하늘 및 식생 영역에서의 시각적 단서가 예측 정확도 향상에 크게 기여한다는 것을 입증한다.

ABSTRACT

In this paper, we attempt to employ convolutional recurrent neural networks for weather temperature estimation using only image data. We study ambient temperature estimation based on deep neural networks in two scenarios a) estimating temperature of a single outdoor image, and b) predicting temperature of the last image in an image sequence. In the first scenario, visual features are extracted by a convolutional neural network trained on a large-scale image dataset. We demonstrate that promising performance can be obtained, and analyze how volume of training data influences performance. In the second scenario, we consider the temporal evolution of visual appearance, and construct a recurrent neural network to predict the temperature of the last image in a given image sequence. We obtain better prediction accuracy compared to the state-of-the-art models. Further, we investigate how performance varies when information is extracted from different scene regions, and when images are captured in different daytime hours. Our approach further reinforces the idea of using only visual information for cost efficient weather prediction in the future.

연구 동기 및 목표

• 단지 시각적 특징만을 사용하여 단일 실외 영상에서 실외 온도를 추정하는 딥러닝 모델을 개발하는 것.
• 영상 시퀀스에서 시각적 외관의 시간적 변화를 모델링하여 온도 예측 정확도를 향상시키는 것.
• 다른 시나리오 영역(예: 하늘 대비 지면)에서 시각적 특징을 추출할 때 성능가 변화하는 방식을 조사하는 것.
• 영상 촬영 시간(낮 시간대)이 예측 성능에 미치는 영향을 분석하는 것.
• 온도 추정에 가장 유용한 시각적 영역 또는 단서를 특정하는 것.

제안 방법

• 단일 실외 영상에서 시각적 특징을 추출하기 위해 컨볼루션 신경망(CNN)을 사용하고, 온도 예측을 위해 회귀층을 추가한다.
• 영상 시퀀스 입력에 대해 시간적 의존성을 영상 간 프레임 간 시각적 외관에 모델링하기 위해 양방향 장기 단기 기억(LSTM) 네트워크를 활용한다.
• 웹캠을 통해 시간이 지남에 따라 촬영된 대규모 실외 영상 데이터셋에서 엔드 투 엔드로 모델을 훈련시킨다.
• 비교적 비순환적인 영상 블록에서 시간에 따른 색상 변동(색상 값의 표준편차)을 계산하여 온도 예측에 대한 시각적 주목도를 분석한다.
• 실제 웹캠 데이터셋에서 RMSE를 사용하여 성능을 평가하고 최신 기술 수준의 방법들과 비교한다.
• 특징을 하늘 영역 또는 지면 영역에서만 추출했을 때의 온도 예측 정확도를 평가하며, 다양한 낮 시간대(예: 오전 11시)에서의 성능도 분석한다.

실험 결과

연구 질문

• RQ1 CNN 기반 모델이 단지 시각적 데이터만을 사용하여 단일 실외 영상에서 실외 온도를 높은 정확도로 추정할 수 있는가?
• RQ2 RNN를 통한 시간적 모델링을 통합할 경우 단일 영상 기반 기준 모델 대비 온도 예측 정확도가 향상되는가?
• RQ3 시각적 특징을 시나리오의 다른 영역(예: 하늘 대비 지면)에서 추출할 경우 온도 예측 성능가 어떻게 변하는가?
• RQ4 낮 시간대(예: 아침 vs. 정오)가 시각적 온도 예측의 신뢰성에 어떤 영향을 미치는가?
• RQ5 온도 예측에 가장 유용한 시각적 영역 또는 단서(예: 하늘, 식생, 건물 외벽)는 무엇인가?

주요 결과

• 제안된 RNN 기반 모델은 시퀀스의 마지막 영상 온도 예측에서 기존 최신 기술 수준 방법들을 능가하며, 시간적 변화를 모델링하는 데서 유의미한 이점이 있음을 입증한다.
• 훈련 데이터의 양이 증가할수록 성능 향상이 이루어지며, 이는 시각적 온도 예측에 있어 딥러닝의 확장성(스케일러빌리티)을 확인한다.
• 오전 11시 경에 촬영된 영상에서 가장 안정적인 예측 성능을 보이며, 평균 RMSE가 가장 낮다. 이는 최적의 조명 조건과 높은 시각적 명료도 덕분이다.
• 하늘 영역은 특히 맑은 하늘 조건에서 온도 예측에 크게 기여하며, 식생과 건물 외벽 영역 역시 특정 시나리오에서 높은 주목도를 보인다.
• 연속된 날의 기온 변화가 급격하게 일어날 경우 실패 사례가 가장 빈번하게 발생하며, 이는 급격한 기상 변화를 포착하는 데 어려움이 있음을 시사한다.
• 주목도 맵 분석 결과, 날짜 간 색상 변동이 높은 영역(예: 나뭇잎, 건물 외벽 일부)이 온도 예측에 더 유용한 정보를 제공하는 것으로 나타났다.