[論文レビュー] How to Construct Deep Recurrent Neural Networks

Razvan Pascanu, Çaǧlar Gülçehre+2 more|arXiv (Cornell University)|Dec 20, 2013

Music and Audio Processing参考文献 41被引用数 245

ひとこと要約

本論文は、積み重ねられた非線形層を用いて、それぞれ隠れ状態間遷移関数と隠れ状態から出力関数を深くする、2つの新しい深層再帰的ニューラルネットワーク（RNN）アーキテクチャ—Deep Transition RNN（DT(S)-RNN）とDeep Output Transition RNN（DOT(S)-RNN）—を提案する。実験的結果は、これらのモデルが、多音楽音楽予測および単語レベル言語モデリングのタスクにおいて、従来の浅いRNNおよび積み重ねRNNを上回ることを示しており、高度な正則化技術を用いずに、後者のタスクで最先端の性能を達成している。

ABSTRACT

In this paper, we explore different ways to extend a recurrent neural network (RNN) to a extit{deep} RNN. We start by arguing that the concept of depth in an RNN is not as clear as it is in feedforward neural networks. By carefully analyzing and understanding the architecture of an RNN, however, we find three points of an RNN which may be made deeper; (1) input-to-hidden function, (2) hidden-to-hidden transition and (3) hidden-to-output function. Based on this observation, we propose two novel architectures of a deep RNN which are orthogonal to an earlier attempt of stacking multiple recurrent layers to build a deep RNN (Schmidhuber, 1992; El Hihi and Bengio, 1996). We provide an alternative interpretation of these deep RNNs using a novel framework based on neural operators. The proposed deep RNNs are empirically evaluated on the tasks of polyphonic music prediction and language modeling. The experimental result supports our claim that the proposed deep RNNs benefit from the depth and outperform the conventional, shallow RNNs.

研究の動機と目的

• 順伝播ネットワークにおける明確な深さの階層と対照的に、再帰的ニューラルネットワーク（RNN）における深さの曖昧さに対処すること。
• 標準的なRNNにおける浅い部分—具体的には、隠れ状態間遷移関数と隠れ状態から出力への関数—を特定し、それらを深くすること。
• 表現能力を向上させつつ、学習の可能性を維持する新しい深層RNNアーキテクチャの設計。
• 提案されたモデルを、シーケンスモデリングタスクにおいて従来のRNNおよび積み重ねRNNと比較して、実験的に評価すること。
• より深いアーキテクチャ設計が、言語モデリングや多音楽音楽予測などのタスクにおいてパフォーマンスを向上させるかどうかを調査すること。

提案手法

• 隠れ状態間遷移関数を深層順伝播ネットワークに置き換えるDT(S)-RNNを提案し、階層的な状態変換を可能にする。
• 出力関数を深層順伝播ネットワークに置き換えるDOT(S)-RNNを導入し、隠れ状態からの出力生成をより深くモデル化可能にする。
• 両アーキテクチャにショートカット接続（残差接続）を採用し、深さの増加に伴う消失勾配問題を緩和する。
• 提案された深層RNNを、時間的非線形演算子の合成として解釈する、ニューラル演算子に基づく新規なフレームワークを採用する。
• 学習には標準的な時間遡及バックプロパゲーションを用い、最適化の安定化のため、従来のRNNまたはDT(S)-RNNによる事前学習を実施する。
• 確率的勾配降下法などの標準的な最適化手法を採用し、実験はTheanoを用いて、文字レベルおよび多音楽音楽データセットで実施した。

実験結果

リサーチクエスチョン

• RQ1 時間展開された深さに起因する固有の性質を考慮すると、再帰的ニューラルネットワーク（RNN）において、再帰層の積み重ねを越えて意味的に深いアーキテクチャを定義できるか？
• RQ2 隠れ状態間遷移関数や出力関数を深くすることで、浅い対応物と比較して、シーケンスモデリングのパフォーマンスが向上するか？
• RQ3 ショートカット接続は、遷移関数や出力関数の深さを増加させた場合に、特に学習の困難さを効果的に緩和できるか？
• RQ4 言語モデリングおよび音楽予測タスクにおいて、提案された深層RNNは従来のRNNおよび積み重ねRNNと比較して、パフォーマンスに優れているか？
• RQ5 テキストや音楽などの異なる種類の順序データに対して、深さによるパフォーマンス向上が一貫して得られるか？

主な発見

• DOT(S)-RNNは、高度な正則化技術を用いずに、単語レベル言語モデリングで最先端のパフォーマンスを達成した。
• 多音楽音楽予測タスクにおいて、各データセットに対して異なる深層RNNバージョンが最良のパフォーマンスを示し、モデル固有の適性が示された。
• 評価されたすべてのケースにおいて、従来の浅いRNNはより深いアーキテクチャに劣っており、RNNにおけるアーキテクチャの深さが有益であることが確認された。
• 提案された深層RNNは、再帰層の積み重ねを越えて、遷移関数および出力関数を深くすることで、深さを意味的に拡張できることを示した。
• DOT(S)-RNNにおける非飽和活性化関数およびドロップアウトの適用は、多音楽音楽予測のパフォーマンスを顕著に向上させ、現代の順伝播技術と相性が良いことを示唆した。
• 深層RNNの学習は困難であり、特にDOT(S)-RNNおよび積み重ねRNNにおいて顕著だった。これにより、より良い最適化戦略および事前学習の必要性が浮き彫りになった。