[論文レビュー] Deep multi-stations weather forecasting: explainable recurrent convolutional neural networks

Ismail Alaoui Abdellaoui, Siamak Mehrkanoon|arXiv (Cornell University)|Sep 23, 2020

Hydrological Forecasting Using AI参考文献 31被引用数 11

ひとこと要約

本稿では、15年間にわたり18のヨーロッパ都市を対象にした多施設気象予測を目的とした、自己注意機構を備えた新規再帰的畳み込みアーキテクチャ、Deep Attention Unistream Multistream (DAUM) ネットワークを提案する。多スティーム入力表現と自己注意機構が、気温および風速の予測精度を顕著に向上させることを示した。また、遮断解析とスコア最大化解析により、気温の予測においてはブリュッセルが、風速の予測においては沿岸都市が特に重要であることが明らかになり、モデルの解釈可能性が向上した。

ABSTRACT

Deep learning applied to weather forecasting has started gaining popularity because of the progress achieved by data-driven models. The present paper compares two different deep learning architectures to perform weather prediction on daily data gathered from 18 cities across Europe and spanned over a period of 15 years. We propose the Deep Attention Unistream Multistream (DAUM) networks that investigate different types of input representations (i.e. tensorial unistream vs. multistream ) as well as the incorporation of the attention mechanism. In particular, we show that adding a self-attention block within the models increases the overall forecasting performance. Furthermore, visualization techniques such as occlusion analysis and score maximization are used to give an additional insight on the most important features and cities for predicting a particular target feature of target cities.

研究の動機と目的

• 複数のヨーロッパ都市における気象予測の精度を向上させるために、unistreamおよびmultistream入力表現の比較を試みる。
• 自己注意機構の統合が、気温および風速予測性能に与える影響を評価する。
• 遮断解析とスコア最大化を用いて、最も影響力のある気象特徴量および都市を同定することで、モデルの解釈性を向上させる。
• 説明可能なAI技術を用いて、気象予測における時空間的依存関係について、実務的インサイトを提供する。

提案手法

• 空間的・時系列的特徴抽出を目的とした、Conv-LSTMと自己注意機構を統合した2つの深層学習アーキテクチャ（Att-UnistreamおよびAtt-Multistream）を提案する。
• 入力表現としてテンソル表現を用い、unistream（都市ごとの特徴量を連結）とmultistream（各特徴量ごとに別々のスティーム）を比較し、モデリング効率を検証する。
• ネットワーク内に自己注意機構を統合し、異なる空間的・時系列的特徴量の重要度を動的に重み付けする。
• 入力領域（空間的および時系列的）をマスクすることで遮断解析を実施し、予測に影響を与える重要な特徴量および都市を同定する。
• スコア最大化を用いて、特定のラグにおけるモデル出力に最も寄与する入力特徴量・都市ペアを可視化する。
• 15年間にわたり18のヨーロッパ都市の毎日のデータを用いて、6日後予測のためのモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 多施設気象予測において、multistream入力表現は unistream 表現を上回る性能を示すか？
• RQ2 自己注意機構の統合が、再帰的畳み込みネットワークにおける予測精度に与える影響は何か？
• RQ3 特定の目標都市における気温および風速予測において、最も影響力のある気象特徴量および都市は何か？
• RQ4 時系列ラグが予測性能に与える影響は何か？また、異なるアーキテクチャは異なるラグ範囲を好むか？
• RQ5 遮断解析およびスコア最大化技術は、地理的文脈においてモデルの予測を効果的に説明できるか？

主な発見

• multistream入力表現は、気温および風速の両方の予測において、常に unistream 表現を上回る精度を示した。
• 自己注意機構の統合により、全評価指標においてモデル性能が向上し、長距離依存性のより良い捉え込みが示された。
• 気温予測においては、露点および気圧が最も影響力のある特徴量であり、中央に位置するブリュッセルが中心的役割を果たしていた。
• 風速予測においては、最大風速および風速特徴量が最も重要であり、バルセロナやアムステルダムといった沿岸都市が顕著な影響を示した。
• Att-Unistreamモデルは最近の時系列ラグ（1〜2番目）を好んでおり、一方Att-Multistreamモデルは過去のラグに高い重要度を与えており、時系列モデリングの動作に差が見られた。
• スコア最大化により、風速予測において可視性が全ラグで最も重要な特徴量であることが明らかになった。また、気圧も顕著な寄与を示した。