[論文レビュー] Temporal Autoencoding Improves Generative Models of Time Series

Chris Häusler, Alex Susemihl+2 more|arXiv (Cornell University)|Sep 12, 2013

Generative Adversarial Networks and Image Synthesis参考文献 8被引用数 4

ひとこと要約

本論文では、時間系列の生成モデルを向上させるために、過去のノイズ入りフレームから現在のフレームを再構築するようにトレーニングする制限付きボルツマンマシン（RBMs）を用いた、時系列自己符号化（TA）という事前学習手法を提案する。この手法により、フレーム補完および予測タスクの性能が顕著に向上し、モーショングラフデータでは再構築誤差が最大80％まで低減され、多様なデータセット、特にM3予測コンペティションのデータから得られたものにおいても予測精度が向上する。

ABSTRACT

Restricted Boltzmann Machines (RBMs) are generative models which can learn useful representations from samples of a dataset in an unsupervised fashion. They have been widely employed as an unsupervised pre-training method in machine learning. RBMs have been modified to model time series in two main ways: The Temporal RBM stacks a number of RBMs laterally and introduces temporal dependencies between the hidden layer units; The Conditional RBM, on the other hand, considers past samples of the dataset as a conditional bias and learns a representation which takes these into account. Here we propose a new training method for both the TRBM and the CRBM, which enforces the dynamic structure of temporal datasets. We do so by treating the temporal models as denoising autoencoders, considering past frames of the dataset as corrupted versions of the present frame and minimizing the reconstruction error of the present data by the model. We call this approach Temporal Autoencoding. This leads to a significant improvement in the performance of both models in a filling-in-frames task across a number of datasets. The error reduction for motion capture data is 56\% for the CRBM and 80\% for the TRBM. Taking the posterior mean prediction instead of single samples further improves the model's estimates, decreasing the error by as much as 91\% for the CRBM on motion capture data. We also trained the model to perform forecasting on a large number of datasets and have found TA pretraining to consistently improve the performance of the forecasts. Furthermore, by looking at the prediction error across time, we can see that this improvement reflects a better representation of the dynamics of the data as opposed to a bias towards reconstructing the observed data on a short time scale.

研究の動機と目的

• 制限付きボルツマンマシン（RBMs）に因果的ダイナミクスを組み込むことで、時系列データの生成モデリングを改善すること。
• 対照的勾配降下法のトレーニングにおける時間的ダイナミクスの捉えこぼれの限界を補うために、教師あり事前学習段階を導入すること。
• 再構築の正確性と予測性能の両方を向上させる手法を開発すること。
• モーショングラフやM3コンペティションの経済時系列データを含む、多様なデータモダリティにおいて、このアプローチの有効性を検証すること。

提案手法

• 過去のフレームを現在のフレームのノイズ入りバージョンとみなして、ノイズ除去自己符号化器の原則に従い、現在のフレームを再構築するようにモデルをトレーニングする。
• 時系列自己符号化（TA）は、時系列RBMs（TRBMs）および条件付きRBMs（CRBMs）の標準的な対照的勾配降下（CD）トレーニングの前段階として事前学習ステップとして適用される。
• 予測された現在のフレームと実際の現在のフレームの間の再構築誤差を最小化するようにモデルをトレーニングし、学習された表現に時間的因果関係を強制する。
• 複数のサンプルにおける事後分布の平均予測値を用いて、推定精度をさらに向上させる。
• 教師なしCD学習と教師あり自己符号化器トレーニングを組み合わせることで、生成モデリングとダイナミック構造学習の両立を図る。
• フレーム補完タスクおよびモーショングラフおよびM3コンペティションデータセットにおける予測タスクを用いて、この手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 時系列自己符号化による事前学習は、時系列データにおける生成モデルの再構築品質を向上させることができるか？
• RQ2 自己符号化器トレーニングと対照的勾配降下法を組み合わせることで、RBMsにおける時間的ダイナミクスのモデリングが向上するか？
• RQ3 TA事前学習は、多様なデータタイプにおける時系列予測の予測性能にどのように影響を与えるか？
• RQ4 TA事前学習による性能向上は、短期的再構築バイアスの結果であるのか、それとも、データダイナミクスのより良い表現を反映しているのか？
• RQ5 TA事前学習は、モーショングラフデータとマクロ経済時系列データの両方で一貫して性能を向上させることができるか？

主な発見

• TRBMでは、標準的な対照的勾配降下法トレーニングと比較して、モーショングラフデータにおいて平均二乗誤差（MSE）が80％低下した。CRBMでは、同様に56％低下した。
• 50個のサンプルにおける事後分布の平均予測値を用いることで、モーショングラフデータにおけるCRBMの誤差は最大91％までさらに低減された。
• M3コンペティションのデータセットにおいて、TA事前学習は一貫して予測性能を向上させ、年次、四半期、月次、その他のすべてのデータカテゴリでMAPEが低減された。
• 性能向上は短期的再構築バイアスによるものではなく、データの背後にあるダイナミクスのより良い表現を反映していた。
• 自己符号化器事前学習と対照的勾配降下法の組み合わせは、それぞれの手法単体よりも優れており、相乗効果が示された。
• この手法はデータモダリティに一般化でき、人間のモーショングラフと経済時系列の両方で、強固な性能を示した。