[論文レビュー] Multiscale sequence modeling with a learned dictionary

Bart van Merriënboer, Amartya Sanyal+2 more|arXiv (Cornell University)|Jul 3, 2017

Natural Language Processing Techniques被引用数 5

ひとこと要約

本稿では、BPEに類似したアルゴリズムを用いて学習された辞書を介して、1文字や1語ではなく複数の記号からなるトークンを予測するマルチスケール系列モデルを提案する。文字レベルモデルの柔軟性と語彙レベルモデリングの効率性を組み合わせることで、特に小規模なモデルにおいて言語モデリング性能が向上し、標準的なLSTMを上回るが、動的計画法を用いることで尤度計算が扱いやすくなる。

ABSTRACT

We propose a generalization of neural network sequence models. Instead of predicting one symbol at a time, our multi-scale model makes predictions over multiple, potentially overlapping multi-symbol tokens. A variation of the byte-pair encoding (BPE) compression algorithm is used to learn the dictionary of tokens that the model is trained with. When applied to language modelling, our model has the flexibility of character-level models while maintaining many of the performance benefits of word-level models. Our experiments show that this model performs better than a regular LSTM on language modeling tasks, especially for smaller models.

研究の動機と目的

• 文字レベルおよび語彙レベルの系列モデルの限界を克服するため、両者の長所を組み合わせたハイブリッドアプローチを導入すること。
• RNNにおける長期依存性やソフトマックスの飽和に起因する学習難易度を、より長い意味のあるサブワード単位をモデル化することで低減すること。
• OOV（語彙外語）の処理に文字レベルモデルの柔軟性を維持しつつ、構造的なトークン化により性能を向上させること。
• 複数の可能な分割法を考慮した動的計画法を用いることで、効率的かつ扱いやすい尤度計算を可能とすること。

提案手法

• 本モデルは、BPEに類似したアルゴリズムにより学習された、複数の記号からなるトークンの辞書を用い、複数スケールで系列を表現する。
• 各時刻において、現在の系列の接尾語と一致するすべての有効なトークンを予測対象とし、重複や階層的な予測を許容する。
• 隠れ状態は、遷移関数fと埋め込みxiを用いて、すべての一致するトークンのRNN出力の平均として計算される。
• 尤度は、系列のすべての有効な分割法をマージナライズする動的計画法を用いて計算される。
• モデルはRNN（例：LSTM）を用いて文脈を保持し、隠れ状態htは辞書内における最新のトークンに基づいて更新される。
• 尤度はCTCや前向き後ろ向きアルゴリズムに類似した勾配降下法により直接最適化され、エンドツーエンド学習が可能となる。

実験結果

リサーチクエスチョン

• RQ1 1文字や1語ではなく複数記号からなるトークンを予測する系列モデルは、標準的な文字レベルや語彙レベルモデルよりも優れた性能を達成できるか？
• RQ2 BPEに類似した学習済み辞書の使用は、特にレア語や未観測語に対して、モデリングの効率性と一般化性能にどのように影響を与えるか？
• RQ3 各時刻において複数の重複するトークン予測を許容しつつ、尤度計算が扱いやすくなるか？
• RQ4 マルチスケールアプローチは、長期依存性やソフトマックスの飽和に起因する学習難易度をどの程度軽減できるか？
• RQ5 標準的な言語モデリングベンチマークにおいて、MI-LSTM や td-LSTM などの最先端RNN変種と比較して、本モデルの性能はどの程度か？

主な発見

• 提案されたマルチスケールモデルは、特に小規模なアーキテクチャにおいて標準的なLSTM言語モデルを上回り、より高いサンプル効率を示した。
• モデルは系列をモデル化するための遷移回数を減らすことで、文字レベルモデルよりも優れた性能を達成し、学習難易度の低減に寄与した。
• BPEに類似した辞書の使用により、OOV語の処理が効果的に可能となり、文字レベルモデルの柔軟性を維持した。
• 動的計画法を用いることで尤度計算が扱いやすくなり、すべての有効な分割法についてのマージナライズが可能になった。
• text8データセットにおいても競争力のある結果を達成し、HM-LSTMなどの最先端モデルに近い性能を示したが、それを上回ることはできなかった。
• 本アプローチは他のアーキテクチャへの一般化にも適しており、より深いまたはより複雑なRNN変種を用いることで、さらなる性能向上が期待できる。