[論文レビュー] A Recurrent Latent Variable Model for Sequential Data

Jun‐Young Chung, Kyle Kastner+4 more|arXiv (Cornell University)|Jun 7, 2015

Generative Adversarial Networks and Image Synthesis参考文献 18被引用数 696

ひとこと要約

この論文は、順序データの複雑でマルチモーダルな依存関係をよりよく捉えるために、RNNの隠れ状態に潜在的な確率的変数を統合した生成モデル、変分再帰ニューラルネットワーク（VRNN）を提案する。時間的依存関係を潜在空間でモデル化し、変分推論を用いることで、標準的なRNNや時間的潜在依存関係のないモデルよりも顕著に高い対数尤度を達成し、音声や筆跡のサンプルの品質も向上する。

ABSTRACT

In this paper, we explore the inclusion of latent random variables into the dynamic hidden state of a recurrent neural network (RNN) by combining elements of the variational autoencoder. We argue that through the use of high-level latent random variables, the variational RNN (VRNN)1 can model the kind of variability observed in highly structured sequential data such as natural speech. We empirically evaluate the proposed model against related sequential models on four speech datasets and one handwriting dataset. Our results show the important roles that latent random variables can play in the RNN dynamic hidden state.

研究の動機と目的

• 標準的なRNNが隠れ状態が決定論的であるため、複雑でマルチモーダルな順序的変動をモデル化する能力に制限があることに対処すること。
• 高次の潜在的確率的変数が、音声や筆跡のような構造的順序データの生成モデリングを改善できるかどうかを調査すること。
• RNNフレームワーク内で潜在変数間の時間的依存関係をモデル化することで、性能に与える影響を調査すること。
• 潜在変数を用いることで、標準的なRNNと同様の出力分布（例：ガウス分布）でも、より優れた生成が可能になることを示すこと。

提案手法

• RNNの隠れ状態に潜在的確率的変数を統合し、RNNのダイナミクスと変分推論を組み合わせた変分RNN（VRNN）を構築する。
• 各時刻における潜在変数の事後分布を、過去の観測値と隠れ状態に条件づけた認識モデルを用いて推論する。
• 潜在変数の事前分布を、直前の隠れ状態と潜在変数に依存する時変分布でモデル化する。
• 再パラメータライゼーションのテクニックを適用し、確率的計算グラフを介したエンドツーエンドのバックプロパゲーションを可能にする。
• 出力分布としてガウス分布またはガウス・ミックス・モデル（GMM）を用いる条件付きデコーダーを採用し、観測値を潜在状態から生成する。
• 観測系列の対数尤度の下界を最大化することで、変分推論に基づいてモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 RNNの隠れ状態に潜在的確率的変数を組み込むことで、自然音声のような複雑な順序データのモデリングが向上するか？
• RQ2 潜在変数間の時間的依存関係をモデル化することで、RNNベースの生成モデルの性能が向上するか？
• RQ3 標準的なRNNが同様の出力分布で失敗するのに対し、VRNNにおける単純なガウス出力分布が高品質なサンプルを生成できるか？
• RQ4 音声および筆跡データセットにおいて、VRNNは標準的なRNNや他のRNN変種と比べて、対数尤度およびサンプル品質の点で優れているか？
• RQ5 潜在変数の遷移が、多様性がありながらも一貫性のあるシーケンスの生成をどのように導くか？

主な発見

• VRNNは、標準的なRNNやGMM出力付きRNNと比較して、4つの音声データセットすべてで顕著に高い対数尤度を達成し、モデリング能力の向上を示している。
• ガウス出力分布を用いたVRNN（VRNN-Gauss）は、RNN-GMMが高周波数ノイズを発生させるのに対し、よりノイズが少なく、高品質な音声波形を生成する。
• 潜在空間における時間的依存関係を含まないVRNNモデルは、完全なVRNNに比べて性能が劣っており、時間的潜在ダイナミクスの重要性が裏付けられた。
• 潜在空間の分析から、潜在変数の遷移が波形の信号遷移と一致しており、発音の遷移時にキルバック・リーマン（KL）ダイバージェンスと潜在状態の変化が増加していることが示された。
• 筆跡生成においては、VRNNはサンプル全体にわたり一貫した筆致を維持するが、RNNベースのモデルはシーケンス途中で筆致が変化する傾向がある。
• 視覚的検証から、VRNNが生成するサンプルは、特に長時間系列にわたりスタイルの一貫性を保ちながら、より多様で現実的であることが確認された。