[論文レビュー] Multi-period Time Series Modeling with Sparsity via Bayesian Variational Inference

Daniel Hsu|arXiv (Cornell University)|Jul 3, 2017

Time Series Analysis and Forecasting参考文献 22被引用数 16

ひとこと要約

本論文は、複数の遷移期間を持つ階層的潜在変数とスパarsity誘導型のホーシューピライアスを用いて、不要な入力変数を自動で除外するベイジアン変分ベイズ推論モデルを提案する。この手法により、日次・週次・月次トレンドの長期的依存関係をモデル化しながら、冗長な入力からのノイズを低減することで、合成データおよび実世界の販売データの両方で予測精度が向上する。

ABSTRACT

In this paper, we use augmented the hierarchical latent variable model to model multi-period time series, where the dynamics of time series are governed by factors or trends in multiple periods. Previous methods based on stacked recurrent neural network (RNN) and deep belief network (DBN) models cannot model the tendencies in multiple periods, and no models for sequential data pay special attention to redundant input variables which have no or even negative impact on prediction and modeling. Applying hierarchical latent variable model with multiple transition periods, our proposed algorithm can capture dependencies in different temporal resolutions. Introducing Bayesian neural network with Horseshoe prior as input network, we can discard the redundant input variables in the optimization process, concurrently with the learning of other parts of the model. Based on experiments with both synthetic and real-world data, we show that the proposed method significantly improves the modeling and prediction performance on multi-period time series.

研究の動機と目的

• 時系列データにおける複数の時間スケール（日次・週次・月次など）の長期的依存関係を捉えることに限界を示す既存のRNNおよびDBNモデルの課題に対処すること。
• 予測性能を低下させる可能性のある不要または冗長な入力変数を自動で特定・除外できる手法を開発すること。
• 日次・週次・月次トレンドなどの多期間ダイナミクスを、異なる遷移期間を持つ階層的潜在変数構造を用いてモデル化すること。
• 非中心化Horseshoeピライアスを組み合わせたベイジアンスパース学習を、深層生成モデルに統合し、頑健で解釈可能な時系列モデリングを実現すること。
• 構造が明確な合成データと、高次元かつノイズの多い入力を有する実世界の販売データの両方で、モデルの性能を評価すること。

提案手法

• 複数の層から成る階層的潜在変数構造を採用し、各層に異なる遷移期間（例：S₁=1, S₂=7, S₃=30）を設定することで、異なる時間スケールを捉える。
• 非中心化Horseshoeピライアスを用いたスパーシファイドなベイジアンニューラルネットワークを入力変数処理に用い、不要な入力を0に近づけることで自動選択を実現する。
• 推論ネットワークはスタックドGated Recurrent Units（GRUs）を用い、各層の潜在変数を推定する。各層の遷移は、直前の状態と入力に条件付けられた多変量正規分布としてモデル化される。
• デコーダーは、現在のすべての潜在変数を用いてターゲット時系列を再構成する多層ニューラルネットワークである。
• モデルはベイジアン変分ベイズ推論により学習され、再構成と正則化のバランスをとるための重み付きKLダイバージェンス項を含む変分下界を最適化する。
• 目的関数におけるKLダイバージェンス項に係数ξ < 1を適用することで、現実世界の設定における汎化性能と予測精度が向上する。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルは、明確な日次・週次・月次トレンドを示す時系列データにおいて、多期間時系列ダイナミクスを効果的に捉えることができるか？
• RQ2 Horseshoeピライアスを用いたベイジアンスパース学習は、時系列モデリングにおいて不要な入力変数を効果的に同定・抑制できるか？
• RQ3 VRNN、SRNN、LSTMといった既存モデルと比較して、本手法は合成データおよび実世界データの両方で予測性能に優れているか？
• RQ4 Horseshoeピライアスにおける非中心化パrameterizationの使用は、高次元入力環境下でのモデル安定性とスパarsityに寄与するか？
• RQ5 KLダイバージェンスの重み係数ξの調整は、実世界の時系列予測において予測精度をどの程度向上させるか？

主な発見

• トレンド強度が上昇する合成データ（α = 0.1, 0.15, 0.2）において、本手法はVRNN（-12.684）、SRNN（-13.523）、LSTM（-17.543）と比較して顕著に低い負の対数尤度（例：α=0.2で-9.550）を達成した。
• 実世界のRossmann販売データでは、ξ=1e-3でRMSPEが0.110にまで低下し、VRNN（0.119）、SRNN（0.122）、LSTM（0.182）を上回る性能を示した。
• 合成実験では、トレンド強度や入力ノイズのレベルが変化しても、本手法は全テストα値において優れた性能を維持した。
• 重み付きKLダイバージェンス項（ξ < 1）の適用により、予測精度が顕著に向上し、最良のRMSPEはξ=1e-3で達成された。
• Horseshoeピライアスは、販売予測にほとんど影響を与えない変数（例：石油価格、為替レート）を効果的に同定・抑制した。
• 複数の遷移期間を持つ階層的潜在構造により、LSTMや標準的なRNNが効果的にモデル化できない複雑な多スケール時系列依存関係を捉えることができた。