[論文レビュー] Gaussian variational approximation for high-dimensional state space models

Matias Quiroz, David J. Nott+1 more|arXiv (Cornell University)|Jan 24, 2018

Gaussian Processes and Bayesian Inference参考文献 60被引用数 18

ひとこと要約

本稿では、動的因子モデルを活用して変分後解釈共分散行列を簡素化パrameter化することで、高次元状態空間モデルに対するガウス型変分近似を提案する。状態次元を低減し、マークフォーク型の時間的依存性を活用することで、効率的な確率的勾配最適化が可能となり、2つの高次元応用分野—鳥類の移動の空間時系列モデリングおよびファイナンス分野の多次元ボラティリティ—において、正確な予測的推論を実現する。

ABSTRACT

Our article considers a Gaussian variational approximation of the posterior density in a high-dimensional state space model. The variational parameters to be optimized are the mean vector and the covariance matrix of the approximation. The number of parameters in the covariance matrix grows as the square of the number of model parameters, so it is necessary to find simple yet effective parameterizations of the covariance structure when the number of model parameters is large. We approximate the joint posterior distribution over the high-dimensional state vectors by a dynamic factor model, having Markovian time dependence and a factor covariance structure for the states. This gives a reduced description of the dependence structure for the states, as well as a temporal conditional independence structure similar to that in the true posterior. The usefulness of the approach is illustrated for prediction in two high-dimensional applications that are challenging for Markov chain Monte Carlo sampling. The first is a spatio-temporal model for the spread of the Eurasian Collared-Dove across North America; the second is a Wishart-based multivariate stochastic volatility model for financial returns.

研究の動機と目的

• 高次元状態空間モデルにおける完全共分散パrameter化の計算上の非現実性を解消するため、変分パrameterの数を削減する。
• モデルの複雑さにもかかわらず、正確な不確実性の評価と予測性能を維持するスケーラブルな変分推論手法を開発する。
• MCMCサンプリングが計算的に非現実的となる高次元設定において、効率的な後解釈近似を可能にする。
• 状態ベクトル内の横断的依存性と時間的相関を捉えるために、動的因子モデル構造を活用する。
• 2つの実世界の高次元問題—空間的拡散モデリングと多次元ボラティリティ推定—において、手法の有効性を実証する。

提案手法

• 低ランク構造による条件付き独立性を誘導することで、状態次元を低減し、変分後解釈共分散行列を動的因子モデルでパラメータ化する。
• 因子を1次マルコフ過程としてモデル化することで、精度行列にスパarsityを誘導し、計算を効率化する。
• 再パラメータ化トリックを用いた確率的勾配上昇法により、高次元におけるEvidence Lower Bound (ELBO) を効率的に最適化する。
• 変分推論手順における行列演算を高速化するためにWoodburyの公式を適用し、スケーラビリティを実現する。
• 真の後解釈の条件付き独立構造を再現するために、変分精度行列のスパarsityパターンを後解釈と一致させる。
• 高次元状態空間における計算負荷をさらに軽減するため、変分後解釈の平均を低次元パラメータ化で表現する。

実験結果

リサーチクエスチョン

• RQ1 変分後解釈共分散行列に動的因子構造を組み込むことで、高次元状態空間モデルにおいてパラメータ数を著しく削減しつつ、予測精度を維持できるか？
• RQ2 高次元空間時系列およびファイナンス時系列において、MCMCと比較して、提案手法のガウス型変分近似は予測密度推定においてどの程度の性能を示すか？
• RQ3 再パラメータ化トリックを用いた確率的勾配最適化により、高次元設定におけるスケーラブルな推論がどの程度実現可能か？
• RQ4 因子に基づく共分散パラメータ化は、複雑な時間的および空間的依存性を示すモデルにおいて、真の後解釈の主要な依存構造を的確に捉えられるか？
• RQ5 真の後解釈が歪度や重たい尾を持ちすらする場合でも、この手法は信頼性のある不確実性評価と予測区間を維持できるか？

主な発見

• 動的因子モデルによるパラメータ化により、変分パラメータ数が著しく削減され、最大78状態を含む高次元状態空間モデルでも推論が可能となった。
• ユーラシアコッホドーベの空間時系列モデルおよび多次元ボラティリティモデルの両方において、予測密度の比較により、MCMCと同等の予測性能が達成された。
• k=12資産を含む多次元ボラティリティモデルにおいて、変分近似は、すべての予測ホライズンh=1,2,3,4において、保留されたテスト観測値を含む予測区間を正確に生成した。
• 実データ例におけるインサンプル予測では、変分予測密度がオラクル（真の）後解釈密度とよく一致しており、観測されたデータ点が予測区間内に位置していた。
• 実データ例におけるELBO推定値は反復処理を経て安定化したが、変動性は若干高かったが、確率的最適化手順の収束を示した。
• 異なるデータ実現およびパラメータ設定においても、シミュレーションおよび実世界データセットの両方で一貫した性能を示し、手法の頑健性を確認した。