[論文レビュー] High-Dimensional Conditionally Gaussian State Space Models with Missing Data

Joshua C. C. Chan, Aubrey Poon+1 more|arXiv (Cornell University)|Feb 7, 2023

Bayesian Modeling and Causal Inference被引用数 5

ひとこと要約

本稿は、複雑な欠損データパターンを有する高次元の条件付きガウス型状態空間モデルに対して、精度行列のスパarsityを活用して1ステップで全欠損観測値を効率的に抽出する精度に基づくMCMCサンプリング手法を提案する。このアプローチにより、混合頻度データやアンバランスパネルデータを有する大規模ベイジアンVARや動的因子モデルにおける計算を顕著に高速化する。

ABSTRACT

We develop an efficient sampling approach for handling complex missing data patterns and a large number of missing observations in conditionally Gaussian state space models. Two important examples are dynamic factor models with unbalanced datasets and large Bayesian VARs with variables in multiple frequencies. A key insight underlying the proposed approach is that the joint distribution of the missing data conditional on the observed data is Gaussian. Moreover, the inverse covariance or precision matrix of this conditional distribution is sparse, and this special structure can be exploited to substantially speed up computations. We illustrate the methodology using two empirical applications. The first application combines quarterly, monthly and weekly data using a large Bayesian VAR to produce weekly GDP estimates. In the second application, we extract latent factors from unbalanced datasets involving over a hundred monthly variables via a dynamic factor model with stochastic volatility.

研究の動機と目的

• 混合頻度データやアンバランスパネルなどの複雑な欠損データパターンを有する大規模時系列モデルを、効率的に推定する挑戦に取り組む。
• 高次元状態空間モデルにおける多数の欠損観測値を扱う際、従来のカルマンフィルタベースの手法に見られる計算上のボトルネックを克服する。
• 動的因子モデルや柔軟な特徴を有する大規模ベイジアンVARを含む、条件付きガウス型状態空間モデルに一般に適用可能なモジュラで汎用的なサンプリングフレームワークを開発する。
• リアルタイムで複数の頻度のデータソースを統合し、堅牢な統計モデリングを実現することで、タイムリーかつ包括的なマクロ経済分析を可能にする。
• 完全データモデル向けの高速推定手法を欠損データ設定に拡張し、計算効率を維持しながらモデルの柔軟性を保つ。

提案手法

• 観測データを条件とした全欠損観測値を1ステップで抽出する精度に基づくMCMCサンプラーを提案し、条件付き分布のガウス性を活用する。
• 欠損観測値分布の精度行列（分散共分散の逆行列）のスパarsityとバンド構造を活用して、高速な行列演算を実現する。
• ChanとJeliazkov（2009）が提唱した精度ベースのサンプリングアルゴリズムを、欠損データを伴う高次元状態空間モデルに適用し、計算コストの高いカルマンフィルタリングを置き換える。
• Durbin-Koopmanのシミュレーションスムーザーを用いて、時系列的制約を満たす状態パス（欠損観測値を含む）を効率的にサンプリングする。
• ラグされた状態を含む状態ベクトルを定式化し、ブロック構造を有する遷移行列と測定行列を用いて、混合頻度および欠損データの制約を組み込む。
• 任意の完全データの条件付きガウス型状態空間モデル向けに効率的なサンプラーと統合可能であるため、モularityを確保し、広範な適用性を実現する。

Figure 1: Computation time of obtaining 10 draws against $n^{o}$ and $n^{m}$ , the numbers of observed and partially unobserved variables, respectively, with $T=300$ and $p=5$ . The four methods are: precision-based sampler with hard inter-temporal constraints (P-hard), precision-based sampler with

実験結果

リサーチクエスチョン

• RQ1 計算コストの高いカルマンフィルタリングに依存せずに、複雑な欠損データパターンを有する高次元状態空間モデルをどのように効率的に推定できるか？
• RQ2 欠損観測値の精度行列のスパarsityを活用することで、大規模ベイジアンVARや動的因子モデルにおける計算速度はどの程度向上するか？
• RQ3 欠損観測値の1ステップサンプリングアプローチは、高次元設定において、逐次的またはフィルタリングベースの手法に比べてMCMCの効率性や収束性に優れているか？
• RQ4 本手法は、混合頻度データとアンバランスパネルを含む実世界のマクロ経済応用において、どのように性能を発揮するか？
• RQ5 ラグドエッジや不規則なリリーススケジュールといった欠損データパターンは、大規模時系列モデルの推定効率性と予測精度にどのような影響を与えるか？

主な発見

• 提案手法の精度ベースのサンプラーは、標準的なカルマンフィルタベースの手法に比べて顕著な計算高速化を達成しており、特に欠損観測値の数が多い場合に顕著である。
• 観測データを条件とした欠損観測値の同時分布はガウス分布であり、その精度行列はスパースかつバンド構造を有しており、効率的な行列逆行列計算とサンプリングを可能にする。
• 週次GDP推定の応用では、四半期、月次、週次データを統合し、大規模ベイジアンVARを用いて高頻度のGDP予測を成功裏に生成した。
• 100以上の月次変数を有する動的因子モデルでは、複雑な欠損データパターンを有するアンバランスデータセットからも、潜在的要因を効果的に抽出できた。
• MCMCサンプルからの非有効性係数（inefficiency factors）の結果、欠損観測値およびモデルパラメータのサンプラーは、合理的な混合効率を示しており、ほとんどの場合で中央値が10未満であった。
• 本手法は、ラグドエッジのデータパターンや非同期的データリリースに対しても高い推定精度とロバストネスを維持しており、従来の手法に比べて計算スケーラビリティにおいて優れている。

Figure 2: Computation time of obtaining 10 draws against $T$ and $p$ , the numbers of time periods and lags, respectively, with $n^{m}=5$ and $n^{o}=10$ . The four methods are: precision-based sampler with hard inter-temporal constraints (P-hard), precision-based sampler with soft constraints (P-sof