[論文レビュー] Learning Simpler Language Models with the Delta Recurrent Neural Network Framework.

Alexander G. Ororbia, Tomáš Mikolov+1 more|arXiv (Cornell University)|Mar 26, 2017

Topic Modeling参考文献 27被引用数 5

ひとこと要約

Delta-RNNフレームワークは、高速なデータ駆動型表現とゆっくりと変化する安定状態の間を補間することで、長期記憶を向上させるシンプルでパラメータ効率の良い再帰的アーキテクチャを提案する。LSTM や GRU ような複雑なモデルよりも、文字レベルおよび語彙レベルの言語モデリングにおいて優れた性能を発揮しながら、より少ないパラメータを用いる。

ABSTRACT

Learning useful information across long time lags is a critical and difficult problem for temporal neural models in tasks like language modeling. Existing architectures that address the issue are often complex and costly to train. The Delta Recurrent Neural Network (Delta-RNN) framework is a simple and high-performing design that unifies previously proposed gated neural models. The Delta-RNN models maintain longer-term memory by learning to interpolate between a fast-changing data-driven representation and a slowly changing, implicitly stable state. This requires hardly any more parameters than a classical simple recurrent network. The models outperform popular complex architectures, such as the Long Short Term Memory (LSTM) and the Gated Recurrent Unit (GRU) and achieve state-of-the art performance in language modeling at character and word levels and yield comparable performance at the subword level.

研究の動機と目的

• 時系列データにおける長い時間遅延の間で有用な情報を学習する課題に対処すること。
• LSTM や GRU のような既存のゲート付き再帰的アーキテクチャの複雑さとトレーニングコストを低減すること。
• 標準的な再帰的ネットワークよりも少ないパラメータを用いながら、言語モデリングで優れた性能を維持すること。
• LSTM や GRU などの既存ゲートモデルを、よりシンプルで一貫性のあるフレームワークに統合し、トレーニング効率と一般化性能を向上させること。

提案手法

• 高速に変化するデータ駆動型表現と、ゆっくりと変化する安定状態の2つの隠れ状態を維持する再帰的ネットワークを導入すること。
• 各時刻で、高速状態と遅い状態の影響を動的にバランスさせる学習可能な補間メカニズムを用いること。
• 隠れ状態の更新を、Δh_t が前の状態に対する学習された補正であるというデルタベースの更新として定式化すること：h_t = h_{t-1} + Δh_t。
• 標準的な誤差逆伝播法を用いてエンドツーエンドでモデルをトレーニングし、標準RNNと比較してほとんど追加のアーキテクチャ的オーバーヘッドを必要としないこと。
• 特定のパラメータ化を通じて、既存のゲートモデル（例：LSTM, GRU）をDelta-RNNフレームワークの特別なケースとして統合すること。
• 一般化性能と性能を評価するために、文字レベル、語彙レベル、サブワードレベルの言語モデリングタスクにこのフレームワークを適用すること。

実験結果

リサーチクエスチョン

• RQ1 よりシンプルな再帰的アーキテクチャは、LSTM や GRU のような複雑なゲートモデルと同等またはそれ以上の性能を言語モデリングで達成できるか？
• RQ2 デルタベースの更新メカニズムは、パラメータの増加を最小限に抑えながら、長期依存関係を効果的に維持できるか？
• RQ3 高速状態と遅い状態の間の補間は、長いシーケンスにわたる記憶保持をどの程度向上させるか？
• RQ4 アーキテクチャの変更なしに、Delta-RNNフレームワークは文字、語彙、サブワードレベルの異なる言語モデリングレベルに一般化できるか？
• RQ5 このフレームワークは、既存のゲートモデルを1つのより解釈可能で効率的なアーキテクチャに統合できるか？

主な発見

• Delta-RNNは、LSTM や GRU よりもはるかに少ないパラメータで、文字レベル言語モデリングにおいて最先端の性能を達成した。
• 語彙レベルでは、LSTM や GRU を上回る性能を示し、優れた一般化性能と長文脈学習能力を示した。
• サブワードレベルでも、最先端のモデルと同等の性能を示したため、さまざまなトークン化方式に強い一般化能力があることが示された。
• シンプルであるにもかかわらず、高速状態と遅い状態の表現の間で補間を学習することで、長期記憶を効果的に維持できた。
• 標準的なシンプルな再帰的ネットワークよりもほとんど追加パラメータが不要なため、トレーニングおよび推論において非常に効率的である。
• アーキテクチャは、以前に提案されたゲートモデルを統合しており、ゲート付き再帰的メカニズムに対するより原理的で統一的な理解を示唆している。