[論文レビュー] Moment based methods for ensemble assessment and calibration

Stephen Jewson|ArXiv.org|Sep 8, 2003

Meteorological Phenomena and Simulations参考文献 8被引用数 16

ひとこと要約

本稿は、ヒースロ空港の1年間分のECMWFデータを用いて、アンサンブル温度予報のキャリブレーションにためのモーメントベース手法を評価している。予報不確実性の分散の予測可能性が低いことから、アンサンブル平均とスプレッドの両方を用いた手法は、アンサンブル平均のみを用いた線形回帰に基づく確率的予報に比べて、予報精度の向上に寄与しないことが判明した。

ABSTRACT

We describe various moment-based ensemble interpretation models for the construction of probabilistic temperature forecasts from ensembles. We apply the methods to one year of medium range ensemble forecasts and perform in and out of sample testing. Our main conclusion is that probabilistic forecasts derived from the ensemble mean using regression are just as good as those based on the ensemble mean and the ensemble spread using a more complex calibration algorithm. The explanation for this seems to be that the predictable component of the variability of the forecast uncertainty is only a small fraction of the total forecast uncertainty. Users of ensemble temperature forecasts are advised, until further evidence becomes available, to ignore the ensemble spread and build probabilistic forecasts based on the ensemble mean alone.

研究の動機と目的

• モーメントベースの統計的手法を用いて、アンサンブル温度予報を評価およびキャリブレーションすること。
• アンサンブルスプレッドを組み込むことで、アンサンブル平均のみを用いた場合と比較して、確率的予報の精度が向上するかどうかを検証すること。
• 従来のランクヒストグラムなどの手法よりも単純で正確なキャリブレーション手法の開発。
• インサンプルおよびアウトオブサンプルの妥当性評価を用いて、キャリブレーションモデルのロバストネスを検証すること。
• アンサンブルスプレッドが温度不確実性を予測するために実用的にどの程度有効であるかを評価すること。

提案手法

• 過去のアンサンブル平均と観測温度の関係を最小二乗法による線形回帰でモデル化し、誤差が正規分布に従うと仮定する。
• 最尤推定法を用いて予報分布のパラメータをフィッティングし、観測データの確率密度を最適化する。
• 2つのモデルを比較：1つはアンサンブル平均のみ（回帰のみ）を用いるモデル、もう1つはアンサンブル平均とスプレッドの両方を用いるモデル（スプレッド-回帰）。
• モーメントベースのフレームワークを用いて、予報分布の平均と分散を推定し、パラメータは歴史的予報-観測ペアから導出する。
• インサンプルおよびアウトオブサンプルのテストを実施し、時間経過に伴うモデルの性能とロバストネスを評価する。
• 季節要因の影響を軽減し、モデルの定常性を向上させるために、すべてのデータから季節平均および標準偏差を除去する。

実験結果

リサーチクエスチョン

• RQ1 キャリブレーションにアンサンブルスプレッドを含めることで、確率的温度予報の精度が顕著に向上するか？
• RQ2 アウトオブサンプルテストにおいて、アンサンブル平均のみを用いる回帰のみモデルと、スプレッド-回帰モデルの性能はどのように比較されるか？
• RQ3 アンサンブルスプレッドが捉えることができる予測可能な予報不確実性の成分は、全体の不確実性のどの程度を占めているか？
• RQ4 モーメントベースのキャリブレーション手法は、ランクヒストグラムなどの既存手法よりも単純かつ正確な代替手段となり得るか？
• RQ5 キャリブレーションモデルのパラメータは、時間経過に伴う予報システムの変更に対してどの程度感受性を示すか？

主な発見

• インサンプルおよびアウトオブサンプルの両テストにおいて、アンサンブル平均のみを用いる回帰のみモデルが、スプレッド-回帰モデルと同等またはそれ以上の性能を示した。
• アンサンブルスプレッドが捉える予測可能な不確実性成分は、全体の予報不確実性のわずかな割合にとどまる。
• スプレッド-回帰モデルのパラメータは、年間の前半と後半の間に著しいロバストネスを示さず、予報システムの変化に起因する不安定性が示唆された。
• 本研究は、アンサンブルスプレッドの追加的価値に関する強く裏付けられた証拠が得られるまでは、確率的予報に依存すべきでないと結論づけた。
• 著者らは、スプレッドの有効性のさらなる検証が行われるまでの間、アンサンブル平均のみに基づく単純なモデルの使用を提唱した。
• 予報システムにおける非定常性は、長期的なキャリブレーションモデルの信頼性を制限する可能性があり、安定したトレーニングデータを確保するための並列予報システムの導入が求められる。