[論文レビュー] An Analysis of Neural Language Modeling at Multiple Scales

Stephen Merity, Nitish Shirish Keskar+1 more|arXiv (Cornell University)|Mar 22, 2018

Topic Modeling参考文献 29被引用数 143

ひとこと要約

この論文は、調整された LSTM および QRNN のベースラインと結合学習可能なソフトマックスが、複数のスケールで文字レベルおよび語彙レベルの言語モデリングで最先端の成果を達成し、現代の単一GPUで効率的に学習できることを示している。

ABSTRACT

Many of the leading approaches in language modeling introduce novel, complex and specialized architectures. We take existing state-of-the-art word level language models based on LSTMs and QRNNs and extend them to both larger vocabularies as well as character-level granularity. When properly tuned, LSTMs and QRNNs achieve state-of-the-art results on character-level (Penn Treebank, enwik8) and word-level (WikiText-103) datasets, respectively. Results are obtained in only 12 hours (WikiText-103) to 2 days (enwik8) using a single modern GPU.

研究の動機と目的

• 大規模言語モデリングタスクにおいて、良く調整されたベースラインモデルが複雑なアーキテクチャと互角に戦えることを動機づける。
• 語彙語レベルの最先端モデルをより大きな語彙と文字レベルデータへ拡張する。
• 文字レベルおよび語レベルタスクにおける LSTM と QRNN のトレードオフを分析する。
• 実用的なモデルチューニングを導くためのハイパーパラメータの重要性を調査する。
• 公正な比較のためのデータセット選択と評価指標を論じる。

提案手法

• 学習可能な埋め込み層、スタックされた再帰層、結合重みを持つソフトマックス分類器を備えたベースラインモデルのフレームワークを使用する。
• LSTMとQRNNセルを比較し、GPUの活用とQRNNの訓練速度の利点を強調する。
• 長い切り捨てBPTT長を用いて長距離依存性を捉え、GPU効率を改善する。
• 大規模語彙を効率的に扱うために、重み結合を用いた修正版アダプティブソフトマックスを採用する。
• Penn Treebank（文字）、enwik8（文字）、WikiText-103（語彙レベル）の3つのデータセットで訓練・評価する。
• ランダムフォレストベースの重要度評価と感度分析を含むハイパーパラメータ分析を実施する。

実験結果

リサーチクエスチョン

• RQ1 標準的な LSTM/QRNN ベースラインは、規模の大きい文字レベルおよび語レベルの言語モデリングで最先端の結果を達成できるか？
• RQ2 文字レベルと語レベルのタスクで LSTM と QRNN はどのように比較され、性能に最も影響を与えるハイパーパラメータは何か？
• RQ3 長い BPTT と結合型アダプティブソフトマックスが、語彙が大きい場合の訓練速度とモデル精度に与える影響は？
• RQ4 一般に用いられるベンチマーク（例：Penn Treebank）は文字レベルのモデリングに適しているか、データセットの選択は結果にどう影響するか？
• RQ5 実務者は最小限のチューニングリソースで強い性能を達成するようにハイパーパラメータをどう調整すべきか？

主な発見

• 調整の行き届いたLSTMおよびQRNNベースラインは、評価データセットで競争力のあるまたは最先端のパープレキシティ/文字当たりビット(BPC)を達成する。
• 語レベルの WikiText-103 では LSTM よりもQRNNが訓練時間とバッチ効率の点で著しい速度利点を提供するが、データセットの複雑さが増すと現実的な文字レベルタスクではパフォーマンスが低下することがある。
• 長い BPTT と結合型アダプティブソフトマックスの使用は、過度に複雑なアーキテクチャに頼ることなく、大規模語彙を効果的に管理するのに役立つ。
• ハイパーパラメータの重要性分析は、ドロップアウト関連のハイパーパラメータ（ウェイト、埋め込み、隠れ層ドロップアウト）が性能に強い影響を与えることを示し、埋め込みサイズは妥当な範囲内では比較的影響が小さい。
• Penn Treebank の文字レベルデータは文字モデリングには欠陥があると見なされ、評価のためには enwik8 のようにより現実的なデータセットが必要であることを強調する。
• パラメータ数はモデルの複雑さやハードウェア要件の信頼できる代理指標ではなく、実用的な効率はアーキテクチャとトレーニングダイナミクスに依存する。