[論文レビュー] Recurrent Highway Networks

Julian Zilly, Rupesh K. Srivastava+2 more|arXiv (Cornell University)|Jul 12, 2016

Natural Language Processing Techniques参考文献 32被引用数 86

ひとこと要約

本論文は、再帰的遷移内にハイウェイ層をスタックすることで1より大きい再帰的深さを実現する、新しいRNNアーキテクチャ「再帰的ハイウェイネットワーク（RHNs）」を提案する。これにより、より深い、より強力な順序付きモデリングが可能になる。著者らは、ゲルツゴルンの円定理に基づく理論的分析を通じて、RHNsが消失／爆発勾配を緩和し、最先端の結果を達成することを示している。Penn Treebankでは、パラメータ数を同じにしたまま再帰的深さを1から10に増加させることで、語彙レベルの困惑度が90.6から65.4に低下した。enwik8では、RHNsが1.27ビット／文字を達成し、先行手法を上回った。

ABSTRACT

Many sequential processing tasks require complex nonlinear transition functions from one step to the next. However, recurrent neural networks with 'deep' transition functions remain difficult to train, even when using Long Short-Term Memory (LSTM) networks. We introduce a novel theoretical analysis of recurrent networks based on Gersgorin's circle theorem that illuminates several modeling and optimization issues and improves our understanding of the LSTM cell. Based on this analysis we propose Recurrent Highway Networks, which extend the LSTM architecture to allow step-to-step transition depths larger than one. Several language modeling experiments demonstrate that the proposed architecture results in powerful and efficient models. On the Penn Treebank corpus, solely increasing the transition depth from 1 to 10 improves word-level perplexity from 90.6 to 65.4 using the same number of parameters. On the larger Wikipedia datasets for character prediction (text8 and enwik8), RHNs outperform all previous results and achieve an entropy of 1.27 bits per character.

研究の動機と目的

• 時間的・空間的両方の長大なクレジット割り当てパスを有する深層再帰的ネットワークを訓練するという課題に対処すること。
• LSTM やスタックドRNNといった既存のRNNアーキテクチャは、深さを増すと消失／爆発勾配に苦しむため、それらを改善すること。
• 再帰的深さを増やす理論的根拠に基づく手法を開発し、訓練の安定性を損なわずにモデリング能力を向上させること。
• ハイウェイ層による再帰的遷移の深さを増すことで、標準的な言語モデリングベンチマークで顕著な性能向上が達成されることを示すこと。

提案手法

• RHNsは、LSTMアーキテクチャを拡張し、単一の再帰的遷移をハイウェイ層のスタックに置き換えることで、1より大きい再帰的深さを実現する。
• ゲルツゴルンの円定理を用いてRNNにおける勾配の流れを分析し、ゲートが誤差逆伝播をどのように制御するか、そしてハイウェイ接続が訓練を安定化させる理由を明らかにする。
• 学習可能な変換ゲートとキャリー・ゲートを備えたハイウェイ層を用い、1時刻あたりの複数の非線形変換における適応的・動的計算を可能にする。
• 特に深層再帰的遷移において、訓練の安定性と一般化性能の向上を図るために、層正則化（LN）を採用する。
• 各時刻で複数の非線形変換を実行できるようにRHNアーキテクチャを設計し、再帰パスの有効な深さを高める。
• 重みの共有とドロップアウトによる正則化を施した標準的な時間方向の誤差逆伝播法を用いてネットワークを最適化する。

実験結果

リサーチクエスチョン

• RQ1 RNNにおける再帰的深さを1層を超えて増加させることで、順序付きタスクにおけるモデリング能力と性能が顕著に向上するか？
• RQ2 標準RNNやスタックドRNNと比較して、再帰的遷移内にハイウェイ層を導入した場合、勾配の流れと訓練の安定性にどのような影響を与えるか？
• RQ3 RHNsにおける改善された勾配ダイナミクスの理論的根拠は何か？また、LSTMセルの挙動とどのように関係しているか？
• RQ4 再帰的深さを増加させることで、Penn Treebank や enwik8 のような言語モデリングベンチマークでの性能がどの程度向上するか？
• RQ5 再帰的遷移内の個々のハイウェイ層が、全体のネットワーク性能にどのように寄与しているか？

主な発見

• Penn Treebankデータセットでは、RHNsの再帰的深さを1から10に増加させたことで、同じパラメータ数のもとで語彙レベルの困惑度が90.6から65.4に低下した。
• enwik8データセットでは、RHNsがテストセットのエントロピーを1.27ビット／文字に達成し、すべての先行手法を上回った。
• text8データセットでは、4500万パラメータのモデルサイズでRHNsがテストセットのエントロピーを1.27ビット／文字に達成し、新たな最先端を樹立した。
• 欠損実験の結果、再帰的遷移内の最初の層が性能に最も寄与しているが、どの層をも削除しても再帰構造のため著しい性能低下が生じた。
• 再帰的深さ10のRHNsは、enwik8で68.5 BPC、Penn Treebankで65.4の困惑度を達成し、変分LSTM やニューラルアーキテクチャ探索ベースのモデルを上回った。
• ゲルツゴルンの円定理を用いた理論的分析により、ハイウェイ層が時間的ヤコビ行列のスペクトル半径を制御することで勾配の流れを安定化させ、深層RNNにおける成功の理由を説明できた。