[論文レビュー] Stochastic Sequential Neural Networks with Structured Inference

Hao Liu, Haoli Bai+2 more|arXiv (Cornell University)|May 24, 2017

Music and Audio Processing参考文献 40被引用数 3

ひとこと要約

本稿では、再帰的ニューラルネットワークと構造的推論を組み合わせることで、高次元の逐次データにおける長期的依存関係および離散的セグメンテーション／ラベル付けをモデル化する確率的逐次ニューラルネットワーク（SSNN）を提案する。Gumbel-Softmax再パラメータ化と双方向推論を用いることで、離散的潜在変数の効率的で微分可能な学習が可能となり、教師なしセグメンテーション、ラベル付け、マルチオブジェクト認識タスクにおいて最先端の性能を達成した。

ABSTRACT

Unsupervised structure learning in high-dimensional time series data has attracted a lot of research interests. For example, segmenting and labelling high dimensional time series can be helpful in behavior understanding and medical diagnosis. Recent advances in generative sequential modeling have suggested to combine recurrent neural networks with state space models (e.g., Hidden Markov Models). This combination can model not only the long term dependency in sequential data, but also the uncertainty included in the hidden states. Inheriting these advantages of stochastic neural sequential models, we propose a structured and stochastic sequential neural network, which models both the long-term dependencies via recurrent neural networks and the uncertainty in the segmentation and labels via discrete random variables. For accurate and efficient inference, we present a bi-directional inference network by reparamterizing the categorical segmentation and labels with the recent proposed Gumbel-Softmax approximation and resort to the Stochastic Gradient Variational Bayes. We evaluate the proposed model in a number of tasks, including speech modeling, automatic segmentation and labeling in behavior understanding, and sequential multi-objects recognition. Experimental results have demonstrated that our proposed model can achieve significant improvement over the state-of-the-art methods.

研究の動機と目的

• 高次元の逐次データ（例：生理的信号や行動シーケンス）における教師なし構造学習の課題、特にセグメント境界やラベルの学習を解決すること。
• 逐次データにおける長期的依存関係と離散的で解釈可能な潜在構造（セグメンテーションとラベル）を効果的にモデル化すること。
• 深層ニューラルネットワークにおける離散的潜在変数の学習の難しさを、構造的で双方向の推論機構を導入することで克服すること。
• Gumbel-Softmax再パラメータ化を用いることで、カテゴリカルな潜在変数を有する逐次モデルにおける推論の効率性と正確性を向上させること。
• 音声モデリング、行動理解、医療診断、マルチオブジェクト認識を含む多様なタスクにおいて、提案モデルの有効性を示すこと。

提案手法

• 生成ネットワークは隠れ半マルコフモデル（HSMMs）を模倣したもので、RNNからの連続的隠れ状態と、2つの離散的系列（セグメンテーション変数とセグメントラベル）を有する。
• 離散的潜在変数（セグメンテーションとラベル）は、カテゴリカルな性質を有するが、Gumbel-Softmaxトリックを用いて再パラメータ化され、そのカテゴリカル性にもかかわらず微分可能な学習が可能になる。
• 両方向の時系列的文脈を活用する双方向推論ネットワークを設計し、離散的潜在変数の事後分布の近似を向上させた。
• 確率的勾配変分ベイズ（SGVB）を用いてエンド・ツー・エンドの学習を実施し、再パラメータ化された勾配を用いて変分下界（ELBO）を最適化する。
• セグメントの持続時間とそのラベルを同時に学習し、拡張された隠れ状態を通じて過去および未来の文脈に従って推論が行われる。
• 固定された最大シーケンス長と持続時間の切り捨てを用いて、ミニバッチSGDでエンド・ツー・エンドに訓練され、計算の爆発を防ぐ。

実験結果

リサーチクエスチョン

• RQ1 教師なしの状態で、高次元の逐次データにおける解釈可能なセグメント境界とラベルを、深層ニューラルネットワークが効果的に学習できるか？
• RQ2 深層学習フレームワーク内において、離散的潜在変数（セグメンテーションとラベル）を効率的に微分可能に最適化する方法は何か？
• RQ3 推論ネットワークに双方向の時系列的文脈を組み込むことで、逐次データにおける構造的推論の正確性が向上するか？
• RQ4 提案モデルは、多様なベンチマークにおいて、既存の最先端手法を上回る性能を示せるか？
• RQ5 画像内のマルチオブジェクト認識など、空間的および逐次的依存関係を含む複雑なタスクにおいて、モデルの一般化性能はどの程度高いか？

主な発見

• SSNNは全評価データセットで最小の平均誤差率を達成し、ドーリスフィラのデータセットでは14.70 ± 5.45%、PhysioNetデータセットでは29.29 ± 5.34%を記録し、subHSMM、HDP-HSMM、CRF-AE、rHSMM-dpを上回った。
• マルチ-MNISTデータセットでは、SSNNは画像内に存在する3つの数字の数と位置を正しく特定できたが、DRAWはしばしばデータモードを漏れてしまうことがあり、優れたモードカバレッジと分離性を示した。
• Gumbel-Softmax再パラメータ化を用いた双方向推論ネットワークにより、離散的潜在変数の正確で安定した学習が可能となり、通常の離散的変分推論で見られる勾配の問題を回避した。
• モデルは教師なし設定において優れた一般化性能を示し、教師なしまたはカリキュラム学習なしに、生のシーケンスから意味のあるセグメンテーションとラベルを学習した。
• 音声および行動モデリングタスクにおいて、SSNNはセグメンテーションとラベル付けの正確性において顕著な向上を示し、実世界の逐次データ解析における有効性を確認した。
• アブレーションスタディの結果、双方向推論と離散変数の構造的モデリングがモデル性能の鍵であることが確認され、それらを除去すると顕著な性能低下が生じた。