[論文レビュー] STCN: STOCHASTIC TEMPORAL CONVOLUTIONAL NETWORKS

Emre Aksan|arXiv (Cornell University)|Feb 18, 2019

Advanced Neural Network Applications参考文献 33被引用数 16

ひとこと要約

本論文は、階層的確率的潜在変数を時系列畳み込みネットワーク（TCNs）に統合することで、計算の並列性を保ちつつモデル化能力を向上させる、新しいアーキテクチャ「確率的時系列畳み込みネットワーク（STCNs）」を提案する。決定論的TCNブロックと確率的層を分離し、異なる受容 field に条件付けられたマルチスケール潜在階層を用いることで、筆跡生成を含む時系列モデリングタスクにおいて、最先端の対数尤度性能を達成し、ELBOスコアとサンプル品質の両面で顕著な向上を実現した。

ABSTRACT

Convolutional architectures have recently been shown to be competitive on many sequence modelling tasks when compared to the de-facto standard of recurrent neural networks (RNNs), while providing computational and modeling advantages due to inherent parallelism. However, currently there remains a performance gap to more expressive stochastic RNN variants, especially those with several layers of dependent random variables. In this work, we propose stochastic temporal convolutional networks (STCNs), a novel architecture that combines the computational advantages of temporal convolutional networks (TCN) with the representational power and robustness of stochastic latent spaces. In particular, we propose a hierarchy of stochastic latent variables that captures temporal dependencies at different time-scales. The architecture is modular and flexible due to the decoupling of the deterministic and stochastic layers. We show that the proposed architecture achieves state of the art log-likelihoods across several tasks. Finally, the model is capable of predicting high-quality synthetic samples over a long-range temporal horizon in modeling of handwritten text.

研究の動機と目的

• 決定論的TCNsとより表現力の高い確率的RNN変種の間の性能格差を埋める。
• 階層的確率性を導入しながらも、TCNsの計算効率と並列性を維持する。
• 決定論的および確率的コンポONENTを分離したモジュラーなフレームワークを設計し、任意のTCNアーキテクチャと柔軟に統合可能にする。
• 階層的潜在変数が後方分布の崩壊を防ぎ、多様な時系列データセットにおいてモデル化能力を向上させることを実証的に検証する。

提案手法

• 各層の事前分布が直前のタイムステップのTCN表現に条件付けられる階層的確率的潜在変数構造を導入し、マルチスケールの時系列依存性モデリングを可能にする。
• 決定論的TCNブロックと確率的層を分離することで、ベースのTCNが変更なしに独立してスタック可能となり、スケーラビリティと並列性が保たれる。
• 各潜在層の事前分布が直前のタイムステップのTCN表現に依存する条件付き事前分布機構を採用し、潜在階層内の時系列の一貫性を確保する。
• 2種類の推論構成を提案：標準形（各層ごとに1サンプル）とSTCN-dense（全潜在サンプルを結合後に予測に使用）。情報の流れを強化し、潜在変数の不活性化を防止する。
• 変分推論を用い、下界（ELBO）を最適化する。近似事後分布は各タイムステップのTCN特徴量に条件付けられる。
• TCNバックボーンで拡張畳み込みを活用し、再帰を用いずに大規模な受容フィールドを実現することで、長距離依存性のモデリングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 計算の並列性を損なわずに、階層的確率的潜在構造をTCNsに効果的に統合できるか？
• RQ2 決定論的および確率的コンポONENTを分離することで、結合型確率的TCN変種と比較して、モデル化能力と対数尤度性能が向上するか？
• RQ3 マルチスケール潜在階層は、後方分布の崩壊を防ぎ、時系列モデリングにおける表現学習を向上させられるか？
• RQ4 畳み込みニューラルネットワークの密集接続にインspiredされたSTCN-dense構成は、潜在変数の効率的利用と生成品質の向上をもたらすか？

主な発見

• IAM-OnDBデータセットでは、STCN-denseが71,386という最高のELBOスコアを達成し、LadderRNN や SWaveNet などのすべてのベースラインを大きく上回った。
• TIMITデータセットでは、STCN-denseが70,294のELBOを達成し、次に良いモデル（5x512-LadderRNN-dense）を1,600ポイント以上上回った。
• STCNモデルは、IAM-OnDB、Deepwriting、TIMIT、Blizzardの全評価データセットで、最先端の対数尤度性能を達成した。
• STCNによって生成された合成サンプルは、高い知覚的品質と長距離時系列一貫性を示し、ELBOスコアの向上と一致した。
• STCNフレームワーク内でTCNブロックをスタックされたLSTMに置き換えた場合、性能が低下した。これは、階層的潜在構造が、拡張畳み込みの時系列インダクティブバイアスと最も相性が良いことを示唆している。
• STCN-dense構成は、上位層の潜在変数の不活性化を効果的に防止しており、一貫した性能向上と、潜在変数と観測変数間の相互情報量の向上によって裏付けられた。