[論文レビュー] Syntax-Aware Language Modeling with Recurrent Neural Networks

Duncan A. J. Blythe, Alan Akbik+1 more|arXiv (Cornell University)|Mar 2, 2018

Natural Language Processing Techniques参考文献 19被引用数 3

ひとこと要約

本稿では、構文的特徴（例：品詞タグ）を文字レベルRNN言語モデルに統合するため、トークンに構文的ラベルを接頭語として付加する構文認識型言語モデル（SALMs）を提案する。SYNSIRと呼ばれる逐次モンテカルロ法を用いることで、解析されていないテキストの確率的構文構造を推定可能となり、文字レベルのモデリングにおいて周囲の perplexity を顕著に低減するが、単語レベルでは標準モデルと同等の性能を維持する。

ABSTRACT

Neural language models (LMs) are typically trained using only lexical features, such as surface forms of words. In this paper, we argue this deprives the LM of crucial syntactic signals that can be detected at high confidence using existing parsers. We present a simple but highly effective approach for training neural LMs using both lexical and syntactic information, and a novel approach for applying such LMs to unparsed text using sequential Monte Carlo sampling. In experiments on a range of corpora and corpus sizes, we show our approach consistently outperforms standard lexical LMs in character-level language modeling; on the other hand, for word-level models the models are on a par with standard language models. These results indicate potential for expanding LMs beyond lexical surface features to higher-level NLP features for character-level models.

研究の動機と目的

• 明示的な構文的特徴を組み込むことで、ニューラル言語モデルの性能が向上するかどうかを調査すること。
• 構文的特徴を付加した言語モデルを、解析されていない現実世界のテキストに適用する課題に対処すること。
• 事前に解析された入力を必要とせずに、推論中に構文的構造を推論できる手法を開発すること。
• 構文認識型モデリングが、文字レベルおよび単語レベルの言語モデリングに与える影響を評価すること。
• 構文的情報が、低レベルの言語モデリングにおける一般化性能およびデータ効率を向上させられることを示すこと。

提案手法

• 本稿では、各文を、各トークンがその構文的タグで前置されたシーケンスに変換することでSALMsを導入する（例：'NOUN-look' は 'look' の代わりに使用）。
• モデルは、構文的タグを入力トークンの一部として扱い、これらの構文的に注釈されたシーケンス上で標準的な文字レベルLSTM言語モデルとして学習される。
• 推論時に未解析テキスト断片の最も確率的な構文的接頭語分布を推定するため、新しい逐次モンテカルロ推論アルゴリズムであるSYNSIRが提案される。
• SYNSIRは、到着する文字シーケンスに基づいて、構文的接頭語のオンラインリサンプリングを実行し、入力が拡大するにつれて構文的不確実性を動的に更新可能である。
• 本手法は、部分的な入力が与えられたもとでの構文的接頭語の事後分布を推定するためのパーティクルベースのアプローチを用い、不確実性下でのスコアリングや生成を可能にする。
• 主に perplexity を指標として、複数のコーパスおよびサンプルサイズを用いて、単語レベルおよび文字レベルの標準LSTM言語モデルと比較して評価が行われる。

実験結果

リサーチクエスチョン

• RQ1 明示的な構文的特徴を組み込むことで、文字レベルのニューラル言語モデルの性能が向上するか？
• RQ2 構文的構造が推論時に利用できない未解析テキストに、構文認識型言語モデルをどのように適用できるか？
• RQ3 構文を組み込むことで、言語モデリングにおける一般化性能やデータ効率が向上するか？
• RQ4 なぜ構文認識型モデルは文字レベルでは向上を示すが、単語レベルでは向上しないのか？
• RQ5 モデルは、新しいテキストが処理されるにつれて、動的に構文的構造を推論・更新できるか？

主な発見

• SALMsは、全テストコーパスおよびサンプルサイズにおいて、標準LSTM言語モデルと比較して、文字レベルモデリングで顕著に perplexity を低減する。
• perplexity の改善は一貫的かつ統計的に有意であり、構文が文字レベルでの一般化性能およびデータ効率を向上させることを示唆している。
• 単語レベルでは、SALMsは標準言語モデルと同等の性能を示しており、単語レベルのモデルが明示的な監視なしに構文的パターンを暗黙的に学習している可能性を示している。
• SYNSIRは、オンラインで構文的構造を推定・更新するのに成功している。例えば、'display' が文脈によって名詞から動詞に変化するようにモデルが適応する。
• モデルは、新しい文字が処理されるたびに、構文的接頭語の事後確率がリアルタイムで更新される動的構文的推論を示している。
• 結果から、構文認識型モデリングは、特にデータが限られる状況において、低レベル言語モデリングの向上に強く有望であることが示唆される。