[論文レビュー] Multi-timescale Representation Learning in LSTM Language Models

Shivangi Mahto, Vy A. Vo+2 more|arXiv (Cornell University)|May 1, 2020

Topic Modeling参考文献 36被引用数 7

ひとこと要約

この論文は、自然言語の依存関係のべき乗則減衰と整合するように、LSTM言語モデルのメモリユニットのタイムスケールを整える理論的裏付けのある手法を提案する。理論的分析から導かれた逆ガンマ分布に従う忘却ゲートバイアスの制約を施すことにより、特にレアワードの文脈でより良いパープレキシティを達成し、ユニットごとのタイムスケールに応じた情報ルーティングが解釈可能になる。

ABSTRACT

Language models must capture statistical dependencies between words at timescales ranging from very short to very long. Earlier work has demonstrated that dependencies in natural language tend to decay with distance between words according to a power law. However, it is unclear how this knowledge can be used for analyzing or designing neural network language models. In this work, we derived a theory for how the memory gating mechanism in long short-term memory (LSTM) language models can capture power law decay. We found that unit timescales within an LSTM, which are determined by the forget gate bias, should follow an Inverse Gamma distribution. Experiments then showed that LSTM language models trained on natural English text learn to approximate this theoretical distribution. Further, we found that explicitly imposing the theoretical distribution upon the model during training yielded better language model perplexity overall, with particular improvements for predicting low-frequency (rare) words. Moreover, the explicit multi-timescale model selectively routes information about different types of words through units with different timescales, potentially improving model interpretability. These results demonstrate the importance of careful, theoretically-motivated analysis of memory and timescale in language models.

研究の動機と目的

• LSTM言語モデルが複数のタイムスケールにわたる時間的依存関係をどのように捉えているかを理解すること。
• 自然言語の語の依存関係がべき乗則で減衰することをモデル化するにあたり、LSTMユニットの理論的最適なタイムスケール分布を特定すること。
• トレーニング中にこの理論的タイムスケール分布を明示的に制約することで、言語モデルの性能を向上させること。
• 異なる種類の語（例：レア語対頻出語）が、特定のタイムスケールを持つユニットを通じて選択的にルーティングされているかどうかを調査すること。
• ユニットのタイムスケールと情報処理における機能的役割を結びつけることで、モデルの解釈性を高めること。

提案手法

• LSTMユニットの忘却ゲートバイアスとそのメモリ保持タイムスケールの理論的枠組みを導出する。
• 言語のべき乗則減衰をモデル化するにあたり、最適なタイムスケール分布が逆ガンマ分布であることを示す。
• 忘却ゲートバイアスの逆ガンマ分布に従うよう明示的な正則化を施してLSTM言語モデルをトレーニングする。
• 推論時にユニットのアブレーションを実施し、特定のタイムスケールグループが語の予測性能に与える寄与度を評価する。
• ユニットをその割り当てられたタイムスケールでグループ化し、各グループのアブレーションが語の頻度帯ごとのパープレキシティに与える影響を測定する。
• 標準LSTMとマルチタイムスケールLSTMの性能を、パープレキシティと頻度別メトリクスを用いて、ベンチマークデータセット（PTBとWikiText-2）で比較する。

実験結果

リサーチクエスチョン

• RQ1 LSTMユニットにおけるタイムスケールの理論的分布は、自然言語の語の依存関係のべき乗則減衰を最もよく捉えるためにどのようになるか？
• RQ2 この理論的分布を明示的に制約することで、言語モデルの性能が向上するか、特に長距離依存関係の処理において？
• RQ3 異なるタイムスケールを持つユニットは、レア語や頻出語といった異なる種類の語を、選択的に処理しているか？
• RQ4 マルチタイムスケールLSTMモデルにおける情報ルーティングは解釈可能であり、各タイムスケールグループに明確な機能的役割が割り当てられているか？
• RQ5 パープレキシティとレア語予測の耐性という観点から、マルチタイムスケールアーキテクチャは標準LSTMに比べてどのように異なるか？

主な発見

• 理論的分析により、自然言語の依存関係のべき乗則減衰を最適にモデル化するためには、LSTMユニットの忘却ゲートバイアスが逆ガンマ分布に従うべきであると予測される。
• 自然英語（例：PTBとWikiText-2）でトレーニングされた標準LSTM言語モデルは、タイムスケールの逆ガンマ分布を近似的に学習しており、理論の妥当性が裏付けられる。
• 忘却ゲートバイアスを逆ガンマ分布に明示的に正則化することで、全体のパープレキシティが低下し、特に頻度が100回未満のレアワードで最も顕著な向上が見られる。
• アブレーションスタディの結果、長時間スケールユニット（100ステップ未満）が低頻度語の予測に最も重要であるのに対し、短時間スケールユニット（1ステップ未満）が高頻度語の予測に最も重要であることが判明した。
• マルチタイムスケールモデルは、異なる語の種類が機能的に異なるタイムスケールを持つユニットを通じて処理されることを示し、解釈性が向上している。
• モデルの性能向上は、データセットを問わず一貫しており、パープレキシティの測定可能な向上と、レア語予測におけるより強い一般化性能が得られている。