[論文レビュー] Deep Temporal Sigmoid Belief Networks for Sequence Modeling

Zhe Gan, Chunyuan Li+3 more|arXiv (Cornell University)|Sep 23, 2015

Generative Adversarial Networks and Image Synthesis参考文献 31被引用数 40

ひとこと要約

本稿では、時間的フィードバックと階層的構造を組み込んだ深層生成モデルであるDeep Temporal Sigmoid Belief Networks (DTSBNs)を提案する。このモデルは、高次元データにおける複雑な逐次的依存関係をモデル化することを目的としており、変分推論と認識モデルを統合することで、スケーラブルな学習と高速な推論を実現する。音楽、モーショングラフ、テキスト、政治スピーチの4つのタスクで最先端の予測性能を達成するとともに、多様で整合性のある逐次シーケンスの生成が可能である。

ABSTRACT

Deep dynamic generative models are developed to learn sequential dependencies in time-series data. The multi-layered model is designed by constructing a hierarchy of temporal sigmoid belief networks (TSBNs), defined as a sequential stack of sigmoid belief networks (SBNs). Each SBN has a contextual hidden state, inherited from the previous SBNs in the sequence, and is used to regulate its hidden bias. Scalable learning and inference algorithms are derived by introducing a recognition model that yields fast sampling from the variational posterior. This recognition model is trained jointly with the generative model, by maximizing its variational lower bound on the log-likelihood. Experimental results on bouncing balls, polyphonic music, motion capture, and text streams show that the proposed approach achieves state-of-the-art predictive performance, and has the capacity to synthesize various sequences.

研究の動機と目的

• 高次元データにおける複雑な非線形時系列依存関係を捉える、深く階層的な生成モデルの開発。
• 高次元で複雑なダイナミクスをモデル化する際のHMMやLDSの限界を克服するため、分散化された隠れ状態を備えた深層アーキテクチャの導入。
• 変分下界最適化を用いて生成モデルと同時に学習される認識モデルを通じて、効率的かつスケーラブルな学習と推論の実現。
• TRBMとRNNを一般化し、アンサンブルサンプリングと多様なデータ型（バイナリ、実数値、カウント）を扱える完全な生成的確率的フレームワークの提供。
• 多様なデータセットにおいて、高精度なシーケンス予測と意味のあるシーケンス生成の両方の能力を実証すること。

提案手法

• モデルは、各層が前の層からの文脈的隠れ状態を引き継ぐ、時系列シグモイド信念ネットワーク（TSBN）の深層階層を構築する。
• 各SBNは、文脈的隠れ状態を用いて隠れユニットのバイアスを制御することで、時系列的文脈に基づいた動的適応を可能にする。
• 認識モデルを導入して、隠れ変数の事後分布を近似し、変分推論により高速な推論を実現する。
• 認識モデルは、尤度の対数の変分下界を最大化することで、生成モデルと同時に学習され、安定性を高めるための分散低減技術が用いられる。
• 直接的なデータ生成を可能にする祖先サンプリングをサポートし、柔軟な条件付き分布により、バイナリ、実数値、カウントの複数のデータタイプを処理可能。
• 確率的および決定的隠れ層を備えた深層アーキテクチャを用いて、階層的表現学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 時間的フィードバックを備えた深く階層的なシグモイド信念ネットワークは、高次元シーケンスにおける複雑な非線形時系列依存関係を学習できるか？
• RQ2 事後分布が閉形式で得られない深層時系列生成モデルにおいて、スケーラブルで効率的な推論をどのように達成できるか？
• RQ3 提案された認識モデルと変分推論は、ヒューリスティック法や近似手法に比べ、予測精度と学習効率の面で優れているか？
• RQ4 モデルは、バイナリ音楽、実数値のモーショングラフ、カウントベースのテキストなど、多様なデータタイプに一般化可能であり、強力な生成的・予測的性能を維持できるか？
• RQ5 モデルは、下位の時系列構造と意味的パターンを反映した、整合的で多様なシーケンスをどの程度の精度で生成できるか？

主な発見

• DTSBNモデルは、ポリフォニック音楽データセットにおいて、RNN-NADEやRTRBMを上回る最先端の尤度推定性能を達成した。
• JSB Choralesデータセットでは、局所的な整合性と基本的な和声ルールを満たす多様な音楽的シーケンスを生成できたが、長期的なメロディーの維持には課題が残った。
• State of the Unionデータセットでは、予測精度が顕著に向上し、平均精度（MP）と予測精度（PP）がGP-DPFAやDRFMを上回った。
• 動的トピックモデリングの結果、学習されたトピックの時間的軌道は意味のある時間的パターンを示しており、イラク戦争や第二次世界大戦といった主要な歴史的出来事に対応するピークを示した。
• アンネーリングされた重要度サンプリングに比べ、変分下界は尤度の推定をより保守的かつ信頼性高く行うことができた。
• ポリフォニック音楽データセットでは、より深い層を追加しても性能向上が見られず、十分な容量を持つ1層のTSBNで十分であることが示唆された。