[論文レビュー] Multi-cell LSTM Based Neural Language Model

Thomas Cherian, Akshay Badola+1 more|arXiv (Cornell University)|Nov 15, 2018

Topic Modeling参考文献 11被引用数 4

ひとこと要約

本稿では、1ノードあたり複数のメモリセルを組み込み、最大値や平均値などの選択戦略を用いて1つの出力値を生成することで、標準的なLSTMを拡張するマルチセルLSTMアーキテクチャを提案する。この手法は、ペン・ツリー銀行データセットにおいて、Zarembaらのモデルを上回る最先端の性能を達成し、収束が速く、パープレキシティが低いという特徴を持つ。

ABSTRACT

Language models, being at the heart of many NLP problems, are always of great interest to researchers. Neural language models come with the advantage of distributed representations and long range contexts. With its particular dynamics that allow the cycling of information within the network, `Recurrent neural network' (RNN) becomes an ideal paradigm for neural language modeling. Long Short-Term Memory (LSTM) architecture solves the inadequacies of the standard RNN in modeling long-range contexts. In spite of a plethora of RNN variants, possibility to add multiple memory cells in LSTM nodes was seldom explored. Here we propose a multi-cell node architecture for LSTMs and study its applicability for neural language modeling. The proposed multi-cell LSTM language models outperform the state-of-the-art results on well-known Penn Treebank (PTB) setup.

研究の動機と目的

• 1つのLSTMノード内に複数のメモリセルを統合することで、長距離の文脈モデリングを改善する可能性を検討すること。
• 複数のメモリセルの値を1つの出力に統合するための効果的な選択メカニズム（例：最大値や平均値）を調査すること。
• 特にペン・ツリー銀行ベンチマークを対象として、マルチセルLSTMのニューラル言語モデリングタスクにおける性能を評価すること。
• パープレキシティと学習効率に注目し、提案モデルを最先端のLSTMベースの言語モデルと比較すること。
• 埋め込み次元数や隠れ層の数といったアーキテクチャのハイパーパrameterがモデル性能に与える影響を分析すること。

提案手法

• 各LSTMユニットが1つのセルではなく複数のメモリセルを備えるマルチセルLSTMノードアーキテクチャを提案する。
• 複数のメモリセルの値を1つの出力に統合するための選択メカニズム（例：最大値や平均値）を採用する。
• 学習に標準的なRNNのダイナミクスとタイムスライスごとの誤差逆伝播（BPTT）を維持し、既存のフレームワークとの互換性を確保する。
• 正則化のために学習率の段階的低下と重み減衰を適用し、実験的に最大ノルム正則化を用いたが、顕著な改善は得られなかった。
• 隠れ層のサイズ、埋め込み次元、層の数を変化させたモデルを学習し、アーキテクチャの影響を評価する。
• 言語モデリングの目的関数として交差エントロピー損失を用い、softmax出力層によりシーケンス内の次の単語を予測する。

実験結果

リサーチクエスチョン

• RQ1 1つのLSTMノードに複数のメモリセルを統合することで、標準的な1セルLSTMと比較して言語モデリング性能が向上するか？
• RQ2 複数のメモリセルの値を統合する際、最大値、平均値、その他の戦略のうち、どの選択戦略が最も優れた性能を発揮するか？
• RQ3 ノードあたりのメモリセル数がペン・ツリー銀行データセットにおけるモデルの収束速度とパープレキシティに与える影響は？
• RQ4 マルチセルLSTMアーキテクチャは、小規模・中規模・大規模のモデルサイズや異なるハイパーパrameter設定に対しても一般化できるか？
• RQ5 Zarembaら（2014）の最先端モデルと比較して、提案モデルがより低いパープレキシティとより速い収束を達成できるか？

主な発見

• マルチセルLSTMモデル（MLSTM-LM）は、ペン・ツリー銀行データセットにおいて、Zarembaら（2014）の最先端モデルを上回り、2層の隠れ層アーキテクチャでテストパープレキシティ77.12を達成した。
• 最も優れた性能を示したモデル（1500ユニット、1500次元埋め込みの大型MLSTM-LM）は、テストパープレキシティ77.12を達成し、ベースラインモデルよりも顕著に低かった。
• すべてのMLSTM-LMモデルはZarembaらのモデルよりも早く収束し、収束が約30エポック目で止まるのに対し、ベースラインは約55エポック目で停止した。
• 最適な性能は2層の隠れ層で達成されたが、4層に増加させると性能が低下した。これは、より深いアーキテクチャではより良い正則化が必要であることを示唆している。
• 埋め込み次元数と隠れユニット数が一致する場合（例：1500ユニットモデルでは1500次元）に最も良い結果が得られ、両者のサイズが不一致すると性能が低下した。
• 最大ノルム正則化と重み減衰は顕著な改善をもたらさず、このアーキテクチャにおいてはテスト設定下で限定的な利点しか示さなかった。