[論文レビュー] Visual Weather Temperature Prediction

Wei-Ta Chu, Kai-Chia Ho+1 more|arXiv (Cornell University)|Jan 25, 2018

Image Enhancement Techniques参考文献 15被引用数 3

ひとこと要約

本稿では、画像データのみを用いて視覚的情報を用いた気象温度予測のためのディーブラーニング手法を提案する。単一画像の温度推定には畳み込みニューラルネットワーク（CNN）を、画像系列における最後の画像の温度予測にはLSTMを用いたRNNを採用している。本手法は、特に時系列予測において最先端の性能を達成しており、空や緑地領域からの視覚的手がかりが予測精度を顕著に向上させることを示している。

ABSTRACT

In this paper, we attempt to employ convolutional recurrent neural networks for weather temperature estimation using only image data. We study ambient temperature estimation based on deep neural networks in two scenarios a) estimating temperature of a single outdoor image, and b) predicting temperature of the last image in an image sequence. In the first scenario, visual features are extracted by a convolutional neural network trained on a large-scale image dataset. We demonstrate that promising performance can be obtained, and analyze how volume of training data influences performance. In the second scenario, we consider the temporal evolution of visual appearance, and construct a recurrent neural network to predict the temperature of the last image in a given image sequence. We obtain better prediction accuracy compared to the state-of-the-art models. Further, we investigate how performance varies when information is extracted from different scene regions, and when images are captured in different daytime hours. Our approach further reinforces the idea of using only visual information for cost efficient weather prediction in the future.

研究の動機と目的

• 屋外の単一画像からの視覚的特徴のみを用いて、周囲の気温を推定する深層学習モデルの開発。
• 画像系列における視覚的外観の時間的変化をモデル化することで、気温予測の精度を向上させること。
• 異なるシーン領域（例：空 vs. 地面）から視覚的特徴を抽出した場合の性能の変化を調査すること。
• 画像撮影時刻（昼間の時間帯）が予測性能に与える影響を分析すること。
• 気温推定に最も有用な視覚的領域や手がかり（例：空、葉、建物の外壁）を特定すること。

提案手法

• 単一の屋外画像から視覚的特徴を抽出するために畳み込みニューラルネットワーク（CNN）を用い、その後に回帰層を配置して気温を予測する。
• 画像系列入力の場合、フレーム間の視覚的外観の時間的依存性をモデル化するために、双方向LSTM（Long Short-Term Memory）ネットワークを採用する。
• 本モデルは、時間経過とともにWebカメラによって撮影された屋外画像の大規模データセット上で、エンドツーエンドに訓練される。
• 視覚的注目度（saliency）は、重複しない画像ブロックにおける時間的変化のRGB値の標準偏差（標準偏差）を計算することで分析される。
• 実世界のWebカメラデータセットを用いて、RMSEを用いて性能を評価し、最先端の手法と比較する。
• 特徴抽出を空領域のみまたは地面領域のみに制限した場合の気温予測精度を評価し、時間帯（例：11時）ごとの性能を分析する。

実験結果

リサーチクエスチョン

• RQ1 CNNベースのモデルは、視覚的情報のみを用いて、単一の屋外画像から周囲の気温を高い精度で推定できるか？
• RQ2 RNNによる時間的モデリングを組み込むことで、単一画像ベースラインと比較して気温予測精度が向上するか？
• RQ3 シーン内の異なる領域（例：空 vs. 地面）から視覚的特徴を抽出した場合、気温予測の性能はどのように変化するか？
• RQ4 時間帯（例：午前 vs. 正午）によって、視覚的情報による気温推定の信頼性はどのように影響を受けるか？
• RQ5 どの視覚的領域や手がかり（例：空、葉、建物の外壁）が気温推定に最も情報量が多いか？

主な発見

• 提案されたRNNベースのモデルは、系列の最後の画像の気温予測において、既存の最先端手法を上回り、時間的変化のモデリングの有効性を示している。
• 訓練データ量が増加するにつれて性能が向上し、視覚的情報による気温推定における深層学習のスケーラビリティが裏付けられている。
• 11時の周辺に撮影された画像が最も安定した予測をもたらし、平均RMSEが最小となる。これは、最適な照明条件と視認性の高さによるものである。
• 空領域は、特に曇りのない状態では気温予測に顕著に寄与しており、葉や建物の外壁も特定のシーンでは高い注目度を示している。
• 連続する日における気温の急激な変化が生じる場合に、誤りが最も多く発生し、急速な天候変化の捉えにくさが課題であることが示された。
• 注目度マップの分析から、時間経過に伴い色の変動が大きい領域（例：木の葉、建物の外壁の一部）が、気温推定に特に有用であることが明らかになった。