[論文レビュー] Identifying Opportunities for Skillful Weather Prediction with Interpretable Neural Networks

Elizabeth A. Barnes, Kirsten J. Mayer+3 more|arXiv (Cornell University)|Dec 14, 2020

Explainable Artificial Intelligence (XAI)参考文献 11被引用数 12

ひとこと要約

本論文では、解釈可能な深層ニューラルネットワークとレイヤーごとの関係プロパゲーション（LRP）を用いて、3か月先の天気予報の精度を高める大気・海洋状態を同定する手法を提案する。海面水温（SST）の異常を分析することで、特に熱帯東部太平洋（ENSO）がシアトル周辺の地表付近の気温異常を予測する上で最も関連性が深い地域であることが明らかになり、予測可能性の向上をもたらす物理的メカニズムが解明された。

ABSTRACT

The atmosphere is chaotic. This fundamental property of the climate system makes forecasting weather incredibly challenging: it's impossible to expect weather models to ever provide perfect predictions of the Earth system beyond timescales of approximately 2 weeks. Instead, atmospheric scientists look for specific states of the climate system that lead to more predictable behaviour than others. Here, we demonstrate how neural networks can be used, not only to leverage these states to make skillful predictions, but moreover to identify the climatic conditions that lead to enhanced predictability. Furthermore, we employ a neural network interpretability method called ``layer-wise relevance propagation'' to create heatmaps of the regions in the input most relevant for a network's output. For Earth scientists, these relevant regions for the neural network's prediction are by far the most important product of our study: they provide scientific insight into the physical mechanisms that lead to enhanced weather predictability. While we demonstrate our approach for the atmospheric science domain, this methodology is applicable to a large range of geoscientific problems.

研究の動機と目的

• 通常の2週間の限界を超えて、特定の気象状態が予測可能であることを示す。
• 予測だけでなく、予測可能性を引き起こす大気・海洋状態を特定することができる機械学習フレームワークを構築する。
• レイヤーごとの関係プロパゲーション（LRP）を用いて、正確な予測に最も寄与するSST領域を特定する解釈可能なヒートマップを生成する。
• AIが抽出した空間パターンを通じて、ENSOのような物理的メカニズムが予測可能性を高める理由を解明する。
• 気象学的分野に限らず、地球科学分野の多様な分野に応用可能な一般化可能な手法を確立する。

提案手法

• 3か月先のシアトル周辺の地表付近の気温異常の符号を分類する目的で、2層の隠れ層（各8ニューロン、ReLU活性化）を持つ全結合フィードフォワードニューラルネットワークを訓練する。
• SST異常（4°×4°グリッド、4050の入力特徴量）をCOBE V2データセットから入力とし、過学習を防ぐためにL2正則化を適用する。
• 予測の信頼性を最適化するために、Nesterov加速勾配降下法を用い、学習率スケジューリングと負の対数尤度損失を採用する。
• 入力の重要度を特定するため、レイヤーごとの関係プロパゲーション（LRP）を適用し、予測に最も影響を与えるSSTグリッドポイントを特定するヒートマップを生成する。
• ヒートマップは、個々のサンプルごとおよび信頼度が上位10%の正確な予測の平均値として分析し、予測に寄与する主要な領域を特定する。
• 入力および出力データは、1980–2009年の気候平均基準に基づいて標準化およびトレンド除去を行い、人為的温暖化の影響を補正する。

実験結果

リサーチクエスチョン

• RQ1 どの特定の海面水温パターンがシアトル周辺の3か月先の地表付近気温異常を最も予測可能にするか？
• RQ2 解釈可能な深層学習手法は、混沌とした系におけるランダムノイズを超えて「機会の予報」（予測可能性が高まる状況）を同定できるか？
• RQ3 LRPが同定した最も関連性の高い入力領域は、ENSOのような中緯度気候変動の既知の物理的駆動要因とどのように一致するか？
• RQ4 ネットワークの注視パターン（LRPによる）は、異なるサンプル間でどの程度変化するか。これは、文脈依存的な予測可能性を示唆するか？
• RQ5 このフレームワークは、大気予測を超えて、他の地球科学的文脈における予測可能性の検出に一般化可能か？

主な発見

• 平均化されたLRPヒートマップにおいて、エルニーニョ＝南方振動（ENSO）に特徴づけられる熱帯東部太平洋のSST異常が、信頼性の高い予測における予測可能性の主要因として顕著に現れた。
• 個々のLRPヒートマップでは、ネットワークがサンプルごとに異なる領域に注目していることが示され、単一の支配的パターンを超えた文脈依存的な予測可能性が裏付けられた。
• 上位10%の信頼度が高い予測（「機会の予報」として特定）は高い正確性を示し、LRPが既知の気候メカニズムと整合する物理的に意味のある領域を強調した。
• LRPヒートマップは、中緯度東部太平洋および熱帯太平洋が正確な予測に最も関連していることを明らかにした。これは、サブシーズンスケールの予測可能性に関する既存の動的理解と一致した。
• 事前に知識を仮定せずに、物理的メカニズムを同定することができた。これは、気候モデリングにおける解釈可能性の価値を示している。
• このフレームワークは他の地球科学的問題へも応用可能であり、複雑系における予測可能性の同定と理解への道筋を提供する。