[論文レビュー] Going Wider: Recurrent Neural Network With Parallel Cells

Danhao Zhu, Si Shen+2 more|arXiv (Cornell University)|May 3, 2017

Natural Language Processing Techniques参考文献 17被引用数 5

ひとこと要約

本稿では、1つの大きな再帰セルに代えて、1層あたり複数の小さな並列RNNセルを用いる、新たなRNNアーキテクチャ「Parallel Cells（PCs）」を提案する。並列セル間での隠れ状態の計算を分離することで、関係のない過去の特徴からの干渉を低減し、学習容量を向上させた。その結果、最先端の性能を達成した：PTB言語モデル化タスクで75.3のパープレキシティ（ベースラインの78.6から低下）、中国語-英語翻訳タスクで0.39 BLEUポイントの向上を達成した。

ABSTRACT

Recurrent Neural Network (RNN) has been widely applied for sequence modeling. In RNN, the hidden states at current step are full connected to those at previous step, thus the influence from less related features at previous step may potentially decrease model's learning ability. We propose a simple technique called parallel cells (PCs) to enhance the learning ability of Recurrent Neural Network (RNN). In each layer, we run multiple small RNN cells rather than one single large cell. In this paper, we evaluate PCs on 2 tasks. On language modeling task on PTB (Penn Tree Bank), our model outperforms state of art models by decreasing perplexity from 78.6 to 75.3. On Chinese-English translation task, our model increases BLEU score for 0.39 points than baseline model.

研究の動機と目的

• 標準RNNでは、隠れ状態間の完全な接続が、関係のない過去の特徴からのノイズをもたらすという制限を解消すること。
• 系列モデルタスクにおける再帰ネットワークの表現能力と学習効率を向上させること。
• 逐次処理を維持しつつ、関係のない特徴間の干渉を低減する、標準RNNの代替アーキテクチャを検討すること。
• 隠れ状態の計算を並列セルに分散させることで、標準NLPベンチマーク上で性能が向上するかどうかを評価すること。

提案手法

• 1つの大きなRNNセルを、同じ層内で並列に動作する複数の小さな独立したRNNセルに置き換える。
• 各並列セルは自らの隠れ状態を保持し、入力を独立して処理することで、関係のない過去の特徴への依存を低減する。
• すべての並列セルの出力を連結または加算した後、次の層に渡すことで、系列モデルの能力を維持する。
• 標準的な時間に沿った誤差逆伝播（backpropagation through time）を用いて、アーキテクチャの変更なしにエンドツーエンドで学習する。
• コアRNN計算を変更せずに、言語モデル化およびニューラル機械翻訳タスクの両方へ適用する。
• 並列セルの数は、検証データ上でチューニングされるハイパーパrameterであり、中程度のセル数で性能向上が確認された。

実験結果

リサーチクエスチョン

• RQ1 1つの大きなRNNセルを複数の小さな並列セルに置き換えることで、系列モデルの性能が向上するか？
• RQ2 隠れ状態における特徴間の干渉を低減させることで、RNNの一般化性能が向上するか？
• RQ3 標準NLPベンチマークにおいて、並列セルアーキテクチャは標準RNNや他の最先端モデルと比べてどうなるか？
• RQ4 過学習を避けるために、性能向上を達成する最適な並列セル数は何か？

主な発見

• ペン・ツリー・バンク（PTB）の言語モデル化タスクにおいて、提案モデルはパープレキシティ75.3を達成し、ベースラインの78.6から3.3ポイント改善した。
• 中国語-英語翻訳タスクにおいて、ベースラインモデルと比較してBLEUスコアが0.39ポイント向上した。
• 性能向上は、並列セルにおける計算の分離により、関係の薄い過去の特徴からの干渉が低減されたことに起因する。
• RNNが持つ逐次的インダクティブバイアスを維持しつつ、深さではなく幅を増やすことで表現能力を向上させた。