[論文レビュー] Spectral Subsampling MCMC for Stationary Time Series

Robert Salomone, Matias Quiroz+3 more|arXiv (Cornell University)|Oct 30, 2019

Markov Chains and Monte Carlo Methods参考文献 39被引用数 6

ひとこと要約

本稿では、周波数ドメインにおける周期的スペクトル（periodogram）データのサブサンプリングにより、大規模な定常時系列に対するベイズ推論を高速化する手法であるSpectral Subsampling MCMCを提案する。観測値は周波数ドメインで漸近的に独立となるため、Whittle尤度と、グループ化とコアセットに基づく新規な制御変数を活用することで、バイアスをほとんど与えずに最大100倍の高速化を達成する。

ABSTRACT

Bayesian inference using Markov Chain Monte Carlo (MCMC) on large datasets has developed rapidly in recent years. However, the underlying methods are generally limited to relatively simple settings where the data have specific forms of independence. We propose a novel technique for speeding up MCMC for time series data by efficient data subsampling in the frequency domain. For several challenging time series models, we demonstrate a speedup of up to two orders of magnitude while incurring negligible bias compared to MCMC on the full dataset. We also propose alternative control variates for variance reduction based on data grouping and coreset constructions.

研究の動機と目的

• 時系列に時間的依存性がある場合、標準的なデータサブサンプリング手法が独立性の欠如により失敗するため、そのような大規模な時系列におけるMCMCの遅さという課題に対処すること。
• 従来、独立またはi.i.d.データに限られていたスケーラブルなMCMC手法を、時系列の周波数ドメインへの変換によって定常時系列に拡張すること。
• データのグループ化とコアセット構築を用いて、尤度推定器の分散を低減しMCMCの効率を向上させる効率的な制御変数を開発すること。
• ARFIMA、ARTFIMA、および確率的ボラティリティモデルのような複雑なモデルにおいて、フルデータMCMCが計算的に非現実的であるにもかかわらず、本手法の精度とスケーラビリティを実証すること。

提案手法

• 時間領域の従属的観測値を、漸近的に独立となる周期的スペクトル（periodogram）値に変換するため、高速フーリエ変換（FFT）を用いて時系列データを周波数ドメインに変換する。
• Whittle尤度近似を用いる。これは、対数尤度を周波数ドメインの周期的スペクトル値の和として扱うものであり、時間領域での依存性が存在してもサブサンプリングが可能になる。
• Whittle尤度に対してサブサンプリングMCMCを適用し、対数尤度推定に使用する周波数成分のサブセットをランダムに選択することで、1回のMCMC反復における計算コストを削減する。
• 特定のパラメータ値のまわりで個々の対数尤度項をテイラー級数展開で近似する制御変数を導入し、分散を低減する。
• グループ化戦略を提案し、グループ化された対数尤度項がより二次的（quadratic）になるようにすることで、特に複雑なモデルにおいて制御変数の性能を向上させる。
• 大規模なグループに対しては、二次近似が失敗する場合に備えて、コアセット構築（Campbell & Broderick, 2018）を適用してグループ化された対数尤度を近似し、耐性を高める。

実験結果

リサーチクエスチョン

• RQ1 時間領域で従属的な観測を持つ定常時系列に、データサブサンプリング技術を拡張できるか？
• RQ2 周波数ドメインにおけるサブサンプリングと組み合わせた場合、Whittle尤度近似は大規模な時系列における効率的なMCMCを可能にするか？
• RQ3 グループ化とコアセットに基づく制御変数は、尤度推定器の分散をどれほど低減し、MCMC収束を改善するか？
• RQ4 Spectral Subsampling MCMCは、真のスペクトル密度と後方分布を回復する点で、フルデータMCMCと比べてどれほど正確か？
• RQ5 長記憶プロセスや確率的ボラティリティ過程のような複雑なモデルにおいて、本手法は最大2桁の計算高速化を達成しつつ、顕著なバイアスを生じさせないか？

主な発見

• 提案手法であるSpectral Subsampling MCMCは、Whittle尤度に基づくフルデータMCMCと比較して、最大2桁の高速化を達成し、実験では計算時間の相対的削減がほぼ100倍に達した。
• Spectral Subsampling MCMCによって得られた後方分布は、フルデータMCMCによって得られたものとほとんど区別がつかないことが確認され、近似によるバイアスがほとんどないことが裏付けられた。
• テイラー級数に基づく制御変数は、分散を顕著に低減し、ARFIMA や ARTFIMA-SV などの複雑なモデルにおいてMCMCの効率を著しく向上させた。
• 対数尤度項をグループ化することで、個々の項の近似よりも分散をより効果的に低減し、特に高次元または非正規分布の設定において性能が向上した。
• シミュレートされたARFIMA(2,1)データにおいて、真のスペクトル密度が正確に回復された。これはWhittle近似の妥当性と、サブサンプリングアプローチの頑健性を示している。
• コアセットに基づく制御変数はテイラー級数バージョンほど効果的ではないが、グループ化された項が二次的でない場合でも分散を低減し、安定性を向上させる効果を示した。