[論文レビュー] Hierarchical Multiscale Recurrent Neural Networks

Jun‐Young Chung, Sungjin Ahn+1 more|arXiv (Cornell University)|Sep 6, 2016

Topic Modeling参考文献 58被引用数 249

ひとこと要約

HM-RNN（HM-LSTM）を導入し、明示的な境界なしに系列中の潜在的階層的多尺度構造を学習する。適応的境界検出器と3つの操作（UPDATE、COPY、FLUSH）を使用。文字レベルの言語モデルで最先端の結果を示すとともに、手書き系列生成でも強い性能を示す。

ABSTRACT

Learning both hierarchical and temporal representation has been among the long-standing challenges of recurrent neural networks. Multiscale recurrent neural networks have been considered as a promising approach to resolve this issue, yet there has been a lack of empirical evidence showing that this type of models can actually capture the temporal dependencies by discovering the latent hierarchical structure of the sequence. In this paper, we propose a novel multiscale approach, called the hierarchical multiscale recurrent neural networks, which can capture the latent hierarchical structure in the sequence by encoding the temporal dependencies with different timescales using a novel update mechanism. We show some evidence that our proposed multiscale architecture can discover underlying hierarchical structure in the sequences without using explicit boundary information. We evaluate our proposed model on character-level language modelling and handwriting sequence modelling.

研究の動機と目的

• RNNにおける階層的かつ時間的表現を共同に学習する課題を動機づけ、対処する。
• 明示的な境界情報なしに潜在的階層構造を発見するモデルを開発する。
• 適応的で多尺度の更新を通じて効率性と長期依存のモデリングを改善する。

提案手法

• 各層に境界検出器を設け、特定の抽象レベルのセグメント境界をマークする。
• 各時刻にレイヤーごとに3つの操作を実装する：UPDATE（境界検出時にスパースに更新）、COPY（前 state を保持）、FLUSH（セグメント表現を上層へ排出しリセット）。
• 境界信号をハードに用いる HM-LSTM へ拡張し、LSTMスタイルの状態とゲートを組み込み、上向き・下向きの相互作用を導入する。
• 離散的な境界決定を訓練するためにストレートスルー推定器を用い、訓練時のバイアスを減らすスロープアニーリング技法を適用する。
• 系列モデリングの負対数尤度を訓練目的として定義し、文字レベルの言語モデリングおよび手書き系列生成へ適用する。
• 出力はレイヤーごとのゲートで結合され、最終的な次符号分布を形成する。

実験結果

リサーチクエスチョン

• RQ1 境界ラベルなしで系列に潜在的階層構造を発見できる再帰ネットワークは存在するか。
• RQ2 適応的で多尺度の更新は時間的依存性をどの程度効果的に捉え、計算負荷を削減できるか。
• RQ3 階層的境界検出がテキストデータの自然言語的・意味的境界と一致するか。
• RQ4 ストレートスルー推定器（スロープアニーリング付き）は離散的境界決定を伴うモデルの訓練に有効か。

主な発見

データセット	モデル	BPC
Penn Treebank	LayerNorm HM-LSTM | Step Fn. & Slope Annealing	1.24
Text8	LayerNorm HM-LSTM	1.29
Hutter Prize Wikipedia	LayerNorm HM-LSTM	1.32

• HM-RNN は境界監督なしで系列に潜在的階層構造を発見し、下層はより細かな時間スケールを、上層はより粗い時間スケールを学習した。
• Penn Treebank において、境界ステップとスロープアニーリングを用いた HM-LSTM は 1.24 bits-per-character (BPC) を達成し、いくつかのベースラインと競合する、またはそれより優れていた。
• Text8 において、HM-LSTM は 1.29 BPC を達成し、当時報告されたニューラルモデルの中で最先端だった。
• Hutter Prize Wikipedia では HM-LSTM が 1.32 BPC に達し、ニューラル最先端の結果と同等となった。
• 可視化により境界検出器が妥当な語・句境界および情報量の多い階層的分割と一致することが示された。
• 手書き系列生成（IAM-OnDB）では HM-LSTM が標準的な LSTM よりも対数尤度で優れており、実数値系列への一般化を示した。