[論文レビュー] Unsupervised Word Discovery with Segmental Neural Language Models.

Kazuya Kawakami, Chris Dyer+1 more|arXiv (Cornell University)|Sep 27, 2018

Natural Language Processing Techniques参考文献 10被引用数 11

ひとこと要約

本論文は、ニューラルネットワークとベイジアンノンパラメトリックな事前分布を組み合わせることで、区切りのない文字列から語彙的単位を発見するセグメンタルニューラル言語モデルを提案する。LSTM言語モデルよりも優れた予測性能を達成し、最新の語彙的単位発見手法と同等の分割結果を出力するが、語彙記憶への過剰な依存を防ぐために微分可能な正則化項を導入している。

ABSTRACT

We propose a segmental neural language model that combines the representational power of neural networks and the structure learning mechanism of Bayesian nonparametrics, and show that it learns to discover semantically meaningful units (e.g., morphemes and words) from unsegmented character sequences. The model generates text as a sequence of segments, where each segment is generated either character-by-character from a sequence model or as a single draw from a lexical memory that stores multi-character units. Its parameters are fit to maximize the marginal likelihood of the training data, summing over all segmentations of the input, and its hyperparameters are likewise set to optimize held-out marginal likelihood. To prevent the model from overusing the lexical memory, which leads to poor generalization and bad segmentation, we introduce a differentiable regularizer that penalizes based on the expected length of each segment. To our knowledge, this is the first demonstration of neural networks that have predictive distributions better than LSTM language models and also infer a segmentation into word-like units that are competitive with the best existing word discovery models.

研究の動機と目的

• 区切りのない文字列から意味的な言語的単位（例：語素や語）を発見できるニューラル言語モデルの開発。
• ニューラルネットワークの表現力とベイジアンノンパラメトリクスの構造学習能力を統合し、より優れた分割と一般化性能を実現すること。
• 訓練データのすべての可能な分割を考慮した周辺尤度を最大化することで、モデルのパラメータとハイパーパrameterを最適化すること。
• 長時間のセグメントへの過剰な依存を防ぎ、一般化性能の低下を回避するため、微分可能な正則化項を導入して語彙記憶の過剰利用を抑制すること。
• LSTM言語モデルよりも優れた予測性能を発揮するとともに、競争力のある語彙的単位の分割を実現できることの実証。

提案手法

• モデルは、各セグメントが再帰的シーケンスマデルによって文字単位で生成されるか、複数文字の単位を格納する語彙記憶から全体として抽出されるという、セグメントの系列としてテキストを生成する。
• モデルのパラメータは、入力シーケンスのすべての可能な分割の周辺尤度を最大化するように学習され、分割の不確実性を統合する。
• ハイパーパrameterは、保留尤度を最適化することで調整され、自動的なモデル選択が可能になる。
• セグメントの期待長さをペナルティとして課す微分可能な正則化項が導入され、語彙記憶の過剰利用を抑制し、一般化性能を向上させる。
• ベイジアンノンパラメトリクスの事前分布を用いることで、事前に語彙サイズを指定せずに、データ駆動型の異なる単位の数の発見が可能になる。
• 離散的な分割と語彙的単位にもかかわらず、勾配ベース最適化によるエンドツーエンド学習が可能になるアーキテクチャを採用している。

実験結果

リサーチクエスチョン

• RQ1 ニューラル言語モデルは、生の文字列からセグメント境界と意味的な言語的単位を同時に学習できるか？
• RQ2 ニューラルネットワークとベイジアンノンパラメトリクスの事前分布を組み合わせることで、標準モデルと比較して予測性能と分割品質の両方を向上させられるか？
• RQ3 微分可能な正則化項は、語彙記憶への過剰な依存を効果的に制御し、教師なし語彙的単位発見における一般化性能を向上させられるか？
• RQ4 本モデルの予測性能は、区切りのないテキストに対してLSTM言語モデルと比較してどの程度優れているか？
• RQ5 発見されたセグメントは、語素や語のような意味的に意味のある単位とどの程度一致するか？

主な発見

• 本モデルは、保留テストデータにおける予測性能が標準的なLSTM言語モデルを上回り、言語モデルとしての能力が向上していることを示した。
• 本モデルは、分割品質の観点から、既存の最高水準の教師なし語彙的単位発見モデルと同等の分割結果を発見した。
• 微分可能な正則化項により、語彙記憶の過剰利用が効果的に抑制され、一般化性能の向上とより頑健な分割が達成された。
• 本モデルは、事前の分割なしに、区切りのない文字列から語素や語といった言語的単位を直接学習できた。
• すべての分割の周辺尤度を最適化することで、構造とパラメータを原理的かつエンドツーエンドの方法で学習できるようになった。
• 本手法は、LSTMを上回る予測性能を発揮するとともに、同時に語彙的単位を発見できる神経ネットワークモデルの初の実証である。