[論文レビュー] Dynamic Shrinkage Processes

Daniel R. Kowal, David S. Matteson+1 more|arXiv (Cornell University)|Jul 3, 2017

Complex Systems and Time Series Analysis被引用数 16

ひとこと要約

本稿では、動的縮小プロセス——従属する局所スケールパラメータを伴うグローバル・ローカル縮小事前分布——を導入し、ベイズ的時系列および回帰モデルの性能を向上させる。局所スケールを対数スケールでの自己回帰過程としてモデル化し、ポリア・ガムのデータ拡張を活用することで、適応的で局所的な縮小が可能となり、効率的なギブスサンプリングが実現される。これにより、トレンドフィルタリングおよび時変係数モデルにおける推定精度と不確実性の定量化が顕著に向上する。

ABSTRACT

We propose a novel class of dynamic shrinkage processes for Bayesian time series and regression analysis. Building upon a global-local framework of prior construction, in which continuous scale mixtures of Gaussian distributions are employed for both desirable shrinkage properties and computational tractability, we model dependence among the local scale parameters. The resulting processes inherit the desirable shrinkage behavior of popular global-local priors, such as the horseshoe prior, but provide additional localized adaptivity, which is important for modeling time series data or regression functions with local features. We construct a computationally efficient Gibbs sampling algorithm based on a Pólya-Gamma scale mixture representation of the proposed process. Using dynamic shrinkage processes, we develop a Bayesian trend filtering model that produces more accurate estimates and tighter posterior credible intervals than competing methods, and apply the model for irregular curve-fitting of minute-by-minute Twitter CPU usage data. In addition, we develop an adaptive time-varying parameter regression model to assess the efficacy of the Fama-French five-factor asset pricing model with momentum added as a sixth factor. Our dynamic analysis of manufacturing and healthcare industry data shows that with the exception of the market risk, no other risk factors are significant except for brief periods.

研究の動機と目的

• 時間依存設定におけるグローバル・ローカル縮小の拡張を可能にする柔軟な動的縮小事前分布のクラスの開発。
• 局所スケールパラメータ間の依存性を対数スケール自己回帰過程でモデル化し、時間局所的な縮小行動を実現する。
• 後方分布計算のための計算効率の高いギブスサンプラーの構築を、ポリア・ガムのスケール混合表現を用いて行う。
• トレンドフィルタリングおよび時変係数回帰モデルにおける推定精度と後方確信区間の改善。
• 実世界のデータ（TwitterのCPU使用率および資産価格設定）への応用を通じて、既存手法を上回る性能を示す。

提案手法

• 局所スケールパラメータ $\lambda_t$ を $h_t = \log(\tau^2 \lambda_t^2) = \mu + \psi_t + \eta_t$ として、対数スケールでモデル化し、$\psi_t$ が時間依存性を捉える。
• $\psi_t$ を自己回帰過程 $\psi_t = \phi \psi_{t-1} + \epsilon_t$ として指定し、$\epsilon_t \sim Z(\alpha, \beta, 0, 1)$（一般化ロジスティック分布）とする。
• 階層ベイズモデルにおける効率的なギブスサンプリングを可能にするために、ポリア・ガムのデータ拡張スキームを採用し、メトロポリス・ハスティングスのチューニングを回避する。
• 状態空間表現を用いて、動的縮小プロセスをベイズ的トレンドフィルタリングおよび時変係数回帰モデルに統合する。
• スライスサンプリングとポリア・ガム事前分布を用いて、超パrameter $\phi$, $\tau$, および $\mu$ をサンプリングし、共役性と計算効率を確保する。
• 潜在状態および混合指標の高速サンプリングを可能にするために、対数分散過程の離散混合近似を用いる。

実験結果

リサーチクエスチョン

• RQ1 独立同分布の局所スケール仮定と比較して、動的縮小プロセスは時系列および回帰モデルにおける局所的縮小をどのように改善するか？
• RQ2 提案された動的グローバル・ローカル事前分布は、不規則な曲線フィッティングにおけるトレンドフィルタリングにおいて、既存のベイズ的手法および頻度主義的手法と比較してどのように性能を発揮するか？
• RQ3 動的縮小モデルは、一時的な要因の重要性が顕著な状況下でも、資産価格設定における時間変動リスク要因にどの程度適応するか？
• RQ4 ポリア・ガムギブスサンプラーは、線形計算複雑性を満たす高次元動的縮小モデルに効率的に適用可能か？
• RQ5 動的縮小フレームワークは、実世界のデータ応用において、よりタイトな後方確信区間とより正確な推定を提供するか？

主な発見

• 分単位のTwitter CPU使用率データにおいて、動的ホースシューディスカッション（BTF-DHS）を用いたベイズ的トレンドフィルタリングモデルは、競合手法と比較して顕著にタイトな後方確信区間とより正確な推定を達成する。
• モーメンタム要因を含むファーマ・フレンチ5要因モデルでは、動的分析により、市場リスク要因のみが一貫して有意であることが判明し、他の要因は一時的な期間にのみ有意であった。
• BTF-DHSのMCMCアルゴリズムは線形時間計算量を達成し、大規模時系列におけるスケーラブルな完全ベイズ推論を可能にする。
• 動的縮小プロセスは不規則曲線の局所的特徴を効果的に捉え、シミュレーションおよび実データの両方で静的縮小事前分布を上回る性能を示す。
• ポリア・ガムの拡張により、ギブスサンプラーの受容率が99.919％に達し、チューニングの必要がなくなり、計算効率が向上する。
• モデルは頑健な不確実性定量化を示し、非ベイズ的手法のものと比較して、よりタイトで信頼性の高い後方確信区間を提供する。