[論文レビュー] Benchmarking Econometric and Machine Learning Methodologies in Nowcasting

Daniel Hopp|arXiv (Cornell University)|Jan 1, 2022

Market Dynamics and Volatility被引用数 3

ひとこと要約

本論文は、1980年代の不況、2008年の金融危機、COVID-19パンデミックの3つの経済的危機期における米国四半期GDP成長率のノーカスティングを、12種類の計量経済学的および機械学習的手法を用いてベンチマーク化している。1947年からFREDのデータを用い、予測性能と改訂安定性を評価した結果、長短期記憶（LSTM）ネットワークとベイジアン・ベクトル自己回帰（BVAR）が全体的に最も優れた結果を示し、LSTMは極端な出来事における正確性と低い改訂ボラティリティで顕著な優位性を示した。

ABSTRACT

Nowcasting can play a key role in giving policymakers timelier insight to data published with a significant time lag, such as final GDP figures. Currently, there are a plethora of methodologies and approaches for practitioners to choose from. However, there lacks a comprehensive comparison of these disparate approaches in terms of predictive performance and characteristics. This paper addresses that deficiency by examining the performance of 12 different methodologies in nowcasting US quarterly GDP growth, including all the methods most commonly employed in nowcasting, as well as some of the most popular traditional machine learning approaches. Performance was assessed on three different tumultuous periods in US economic history: the early 1980s recession, the 2008 financial crisis, and the COVID crisis. The two best performing methodologies in the analysis were long short-term memory artificial neural networks (LSTM) and Bayesian vector autoregression (BVAR). To facilitate further application and testing of each of the examined methodologies, an open-source repository containing boilerplate code that can be applied to different datasets is published alongside the paper, available at: github.com/dhopp1/nowcasting_benchmark.

研究の動機と目的

• 米国四半期GDP成長率のノーカスティングにおいて、12の代表的な計量経済学的および機械学習的手法を包括的に比較評価すること。
• 1980年代初頭の不況、2008年の金融危機、COVID-19パンデミックという3つの高インパクトな経済的落ち込み期におけるモデルのパフォーマンスを評価すること。
• 予測誤差と改訂ダイナミクスの観点から、予測誤差と安定性の両面で、変動が激しい状況下でも優れた性能を示す手法を同定すること。
• 各手法に対して再利用可能なオープンソースコードを公開することで、実務家がこれらの手法を採用・応用できるようにすること。

提案手法

• 本研究は、1947年から2021年までをカバーするFREDの126種類の月次および四半期経済指標を用いたベンチマークデータセットを採用し、米国四半期GDP成長率のノーカスティングを実施している。
• 12の手法それぞれを歴史的データで学習させ、3つの異なる経済的状態に分かれる期間における予測の外挿性能を評価している。
• 平均絶対誤差（MAE）、平均二乗誤差（RMSE）、複数のデータバージョンにおける改訂ボラティリティを用いて性能を評価している。
• 従来の計量経済学的手法（例：ARMA、OLS、リッジ回帰、MF-VAR、BVAR）および機械学習手法（例：LSTM、MLP、勾配ブースティング、ランダムフォレスト、決定木、DFM、MIDAS）を含む。
• 主な手法的革新として、実時間でのノーカスティング条件を模擬するために人工的なラグを導入しており、モデルが実際の運用状況でどのように評価されるかを保証している。
• 完全に再現可能なJupyterノートブックを含むオープンソースのGitHubリポジトリを整備し、各手法の標準化されたデータ前処理、モデル学習、予測パイプラインを提供している。

実験結果

リサーチクエスチョン

• RQ1 経済的ストレスが生じる時期における米国四半期GDP成長率のノーカスティングにおいて、どの計量経済学的および機械学習的手法が最も正確な予測を達成するか？
• RQ2 1980年代の不況、2008年の金融危機、COVID-19パンデミックの各時期において、異なるモデルの予測誤差と改訂安定性はどのように異なるか？
• RQ3 正則化技術（例：リッジ回帰）やアンサンブル手法（例：ランダムフォレスト、勾配ブースティング）は、ベースラインモデルに比べて予測性能をどの程度向上させるか？
• RQ4 LSTM や MLP といったディープラーニングモデルは、従来の時系列モデルに比べて非線形的ダイナミクスや極端な経済的ショックをどの程度適切に捉えられるか？
• RQ5 特に変動が激しい時期において、各データバージョンごとに別々のモデルを学習させることで、モデルのパフォーマンスを向上させられるか？

主な発見

• 長短期記憶（LSTM）ネットワークが全体的に最高のパフォーマンスを示し、2008年の金融危機では1位、COVID-19パンデミックでは2位を記録。改訂ボラティリティが最低で、高い正確性を示した。
• ベイジアン・ベクトル自己回帰（BVAR）は全体で2位を記録し、高い予測正確性を示したが、全モデルの中で最も改訂に敏感な特性を示した。
• LSTM と BVAR は、図4に示すように、誤差と安定性の両方の指標を統合的に評価した際、他のすべてのモデルを上回った。
• 勾配ブースティングツリーおよびランダムフォレストモデルは、訓練分布外の極端な値を予測できず、最終2つのデータバージョンまで常に平均値への回帰を示した。
• マルチレイヤーパーセプトロン（MLP）モデルは、1980年代初頭の不況期には最も悪いMAEを示したが、後続の危機期では著しく改善し、2008年の危機では5位、COVID危機では4位を記録した。
• 通常最小二乗法（OLS）回帰は全体的に低いパフォーマンスを示し、ARMA や 決定木 よりも低い順位に留まったが、最終テスト期間（2020年）では強く、その段階で3位を記録した。