[論文レビュー] The Error is the Feature: how to Forecast Lightning using a Model Prediction Error

Christian Schön, Jens Dittrich+1 more|arXiv (Cornell University)|Nov 23, 2018

Meteorological Phenomena and Simulations参考文献 19被引用数 10

ひとこと要約

本論文は、人工衛星画像に適用された光学フローアルゴリズムの予測誤差を機械学習モデルの主要特徴として用いる、新しい竜巻雷雨予測手法を提案している。運動推定誤差を積乱活動の指標と捉えることで、15分以内の雷予測で最大96％の精度を達成し、5時間予測でも83％以上を維持するが、運用上での誤検出率の高さが依然として課題である。

ABSTRACT

Despite the progress within the last decades, weather forecasting is still a challenging and computationally expensive task. Current satellite-based approaches to predict thunderstorms are usually based on the analysis of the observed brightness temperatures in different spectral channels and emit a warning if a critical threshold is reached. Recent progress in data science however demonstrates that machine learning can be successfully applied to many research fields in science, especially in areas dealing with large datasets. We therefore present a new approach to the problem of predicting thunderstorms based on machine learning. The core idea of our work is to use the error of two-dimensional optical flow algorithms applied to images of meteorological satellites as a feature for machine learning models. We interpret that optical flow error as an indication of convection potentially leading to thunderstorms and lightning. To factor in spatial proximity we use various manual convolution steps. We also consider effects such as the time of day or the geographic location. We train different tree classifier models as well as a neural network to predict lightning within the next few hours (called nowcasting in meteorology) based on these features. In our evaluation section we compare the predictive power of the different models and the impact of different features on the classification result. Our results show a high accuracy of 96% for predictions over the next 15 minutes which slightly decreases with increasing forecast period but still remains above 83% for forecasts of up to five hours. The high false positive rate of nearly 6% however needs further investigation to allow for an operational use of our approach.

研究の動機と目的

• 衛星画像データを用いた機械学習ベースの短期的雷予測手法の開発を目的とする。
• 光学フロー予測の誤差が、雷雲発生に至る積乱発達を示す意味のある特徴として機能するかどうかを調査すること。
• 誤差に基づく特徴および追加の衛星由来特徴を用いた場合、決定木ベースの分類器とニューラルネットワークの雷予測性能を評価すること。
• 空間的畳み込み、チャネル多様性、時間的特徴が、15分から5時間までの予測期間にわたりモデルの精度に与える影響を評価すること。
• 現在運用への導入を制限する要因となっている高い誤検出率に対処すること。

提案手法

• コアとなる手法は、連続する衛星画像間の2次元光学フローを計算し、予測された運動と実際の運動の差（残差誤差）を垂直運動および積乱の代理指標として用いること。
• これらの光学フロー誤差は、大規模なカーネルサイズを用いた手動畳み込み層を通過させ、発達中の雷雨を示す空間的パターンを捉える。
• 光学フロー誤差特徴、スペクトルチャネルごとの正規化、および時刻や地理的位置などの追加気象特徴を含む包括的な特徴セットを構築する。
• バイナリ・クロスエントロピー損失関数とエアリー・ストッピングを用い、ランダムフォレストとXGBoostという決定木ベースのモデル、およびLeaky ReLUとシグモイド活性化関数を備えた全結合フィードフォワードニューラルネットワークを訓練する。
• ニューラルネットワークの学習のため、特徴量を[0,1]に正規化し、データの不均衡は、過剰適合を避けるためにバランスの取れたテストセットを用いる。畳み込みニューラルネットワークは、多数クラスに過剰適合するリスクがあるため使用を避ける。
• モデルの評価には、15分から5時間までの予測オフセットにおいて、正解率、AUC、ROC曲線を用い、先行研究と比較して結果を提示する。

実験結果

リサーチクエスチョン

• RQ1 地球静止衛星画像における光学フローアルゴリズムの予測誤差が、雷に至る積乱発達の信頼できる指標として機能するか？
• RQ2 特に大規模なカーネルサイズを用いた空間的畳み込み戦略が、雷雨予測モデルの予測性能に与える影響はいかほどか？
• RQ3 マルチスペクトル衛星チャネルおよび補助特徴（例：時刻、位置）を組み込むことで、予測期間が異なる場合にモデルの精度はどの程度向上するか？
• RQ4 本研究の低データ量・高不均衡な環境下で、決定木ベースのモデルとディープニューラルネットワークの性能はどのように比較されるか？
• RQ5 高い正解率にもかかわらず、誤検出率が依然として高いのはなぜか、そしてこれをどのように是正できるか？

主な発見

• 最も優れた性能を示したモデル、すなわちランダムフォレスト（RF2）は、次の15分以内の雷予測で96％の正解率を達成し、5時間予測では83.87％まで低下した。
• 大規模なカーネルサイズを用いた畳み込み処理が、特に短期予測においてモデルの正解率を顕著に向上させた。これは、広範囲の気象パターンを捉える重要性を示している。
• 誤差に基づかない衛星特徴（例：輝度温度差）を含めることで、誤差のみのモデルを上回る精度が得られ、15分予測で最高の96％を記録した。
• ニューラルネットワーク（NN1）も競争力のある性能を示したが、ランダムフォレストモデルに劣った。これは、この高不均衡・低データ環境下では決定木ベースのモデルがより頑健である可能性を示唆している。
• RF2モデルの2時間予測におけるAUCは0.94であり、優れた識別能力を示し、精度・再現率のバランスにおいて先行手法を顕著に上回った。
• 高い正解率にもかかわらず、誤検出率は約6％に留まり、著者らはこれが運用上の導入を阻害する主な障壁であり、今後の研究の焦点であると特定している。