[論文レビュー] Mogrifier LSTM.

Gábor Melis, Tomáš Kočiský+1 more|arXiv (Cornell University)|Sep 4, 2019

Natural Language Processing Techniques参考文献 25被引用数 7

ひとこと要約

この論文は、現在の入力と以前の隠れ状態の間で相互ゲーティングを導入する、拡張された長短期記憶ネットワーク（Mogrifier LSTM）を提案する。これにより遷移関数が文脈依存的になり、入力と文脈の相互作用のモデリングが向上し、Penn Treebank および Wikitext-2 でそれぞれ3–4 perplexityポイントの低減を達成し、文字レベルのデータセットでもビット数/文字（bpc）が向上する。これは、複数の言語モデリングベンチマークで最先端の結果を達成した。

ABSTRACT

Many advances in Natural Language Processing have been based upon more expressive models for how inputs interact with the context in which they occur. Recurrent networks, which have enjoyed a modicum of success, still lack the generalization and systematicity ultimately required for modelling language. In this work, we propose an extension to the venerable Long Short-Term Memory in the form of mutual gating of the current input and the previous output. This mechanism affords the modelling of a richer space of interactions between inputs and their context. Equivalently, our model can be viewed as making the transition function given by the LSTM context-dependent. Experiments demonstrate markedly improved generalization on language modelling in the range of 3-4 perplexity points on Penn Treebank and Wikitext-2, and 0.01-0.05 bpc on four character-based datasets. We establish a new state of the art on all datasets with the exception of Enwik8, where we close a large gap between the LSTM and Transformer models.

研究の動機と目的

• 標準的なRNN、特にLSTMにおける一般化能力と体系的性の制限を是正すること。
• 再帰的ネットワークにおける入力とその文脈表現との相互作用の仕組みを改善すること。
• 計算コストを著しく増加させることなく、モデル化能力を向上させるメカニズムを開発すること。
• 語彙レベルおよび文字レベルを含む、標準的な言語モデリングベンチマークで最先端の性能を達成すること。

提案手法

• 共通のゲーティングネットワークを用いて、入力と隠れ状態の両方を動的に変調する相互ゲーティング機構を導入する。
• ゲーティング機構を適用して、文脈依存型の遷移関数を計算し、入力と隠れ状態の間でより豊かな相互作用を可能にする。
• 学習可能なゲートを用いて、入力と隠れ状態間の情報の流れを制御する。変換器のゲーティング機構をインspiredとしているが、RNNに適応させたものである。
• ゲーティング変換を標準LSTMセル構造に統合し、記憶機能と勾配伝播特性を維持する。
• 追加パラメータが最小限に抑えられつつ、モデル化能力を著しく向上させる、パラメータ効率の良い設計を採用する。
• ゲーティング機構を、入力と文脈に基づいて適応する学習可能で微分可能な変換とみなす。

実験結果

リサーチクエスチョン

• RQ1 LSTMにおける文脈依存型の遷移関数は、言語モデリングタスクにおける一般化能力の向上に寄与するか？
• RQ2 入力と隠れ状態の間の相互ゲーティングは、長距離依存性や体系的パターンのモデリングにどのように影響するか？
• RQ3 相互ゲーティングのような単純なアーキテクチャ的変更が、標準的な言語モデリングベンチマークでの性能向上にどの程度寄与するか？
• RQ4 Mogrifier LSTMは、標準LSTMや変換器（Transformers）などの競合モデルを上回る性能を、文字レベルの言語モデリングで示せるか？
• RQ5 Enwik8のような困難なデータセットにおいて、LSTMと変換器の性能格差をMogrifier LSTMがどの程度縮められるか？

主な発見

• 標準LSTMと比較して、Penn Treebank および Wikitext-2 データセットで3–4 perplexityポイントの改善を達成した。
• 4つの文字レベル言語モデリングデータセットで、ビット数/文字（bpc）が0.01–0.05低減され、モデル化効率の向上が示された。
• 評価されたすべてのデータセットで新記録を樹立したが、Enwik8を除く。Enwik8では、LSTMと変換器の性能格差を顕著に縮めた。
• 最小限のアーキテクチャ的オーバーヘッドで実現されており、標準LSTMの計算効率を維持している。
• 相互ゲーティング機構により、入力と文脈の相互作用のモデリングが向上し、一般化能力と体系的性が向上した。
• 語彙レベルおよび文字レベルの両方のベンチマークにおいて、多様な言語モデリングタスクに強く一般化する能力を示した。