[論文レビュー] Building Language Models for Text with Named Entities

Rizwan Parvez, Saikat Chakraborty+2 more|arXiv (Cornell University)|May 13, 2018

Topic Modeling参考文献 17被引用数 7

ひとこと要約

本論文では、固有表現のエンティティタイプ情報を活用することで、語彙サイズの縮小と精度の向上を図り、固有表現の予測を改善する判別的ニューラル言語モデルを提案する。エンティティタイプと特定の名前の両方を統合的にモデル化することにより、最先端のモデルと比較して、レシピ生成では52.2%低い perplexity を達成し、コード生成では22.06%低い perplexity を達成した。

ABSTRACT

Text in many domains involves a significant amount of named entities. Predict- ing the entity names is often challenging for a language model as they appear less frequent on the training corpus. In this paper, we propose a novel and effective approach to building a discriminative language model which can learn the entity names by leveraging their entity type information. We also introduce two benchmark datasets based on recipes and Java programming codes, on which we evalu- ate the proposed model. Experimental re- sults show that our model achieves 52.2% better perplexity in recipe generation and 22.06% on code generation than the state-of-the-art language models.

研究の動機と目的

• トレーニングデータにおける低頻度の固有表現名のための言語モデルの固有表現予測性能の低さという課題に対処すること。
• レシピやソースコードなど固有表現が豊富なドメインにおける言語モデルのパフォーマンスを向上させること。
• 決定的で明確なエンティティタイプ情報を活用して語彙サイズを縮小し、予測精度を向上させるモデルを設計すること。
• 収集済みのレシピおよびコードデータセットを用いて、エンティティ豊富なテキスト生成のための新しいベンチマークを確立すること。
• タイプに配慮したモデリングが、標準的なニューラル言語モデルよりも、テキストの内在的なパターンをよりよく捉えられることを示すこと。

提案手法

• モデルは二段階のアーキテクチャを採用する：コンテキストに基づいて次に来る単語のエンティティタイプを予測するタイプモデル。
• タイプモデルは、同じタイプに属するすべてのエンティティを同等とみなすことにより語彙サイズを縮小し、一般化性能を向上させる。
• 次に、エンティティコンpositeモデルが、予測されたタイプを事前分布として用い、候補となる名前の上での条件付き確率を推定することで、実際のエンティティ名を予測する。
• 両モデルの共同推論を実行することで、文脈的・タイプ整合性のあるエンティティ名を生成する。
• エンティティタイプ情報は、オントロジーまたは静的型システム（例：Java AST内）から抽出され、スケーラブルで正確なタイプラベル付けを可能にする。
• モデルはコンテキストとタイプを入力として、次に来る単語を予測する目的で、クロスエントロピー損失を用いてエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 エンティティタイプ情報を利用することで、低頻度の固有表現に対する言語モデルのパフォーマンスが顕著に向上するか？
• RQ2 エンティティ豊富なドメイン（例：レシピやコード）において、タイプに配慮した言語モデルは、標準的なニューラル言語モデルを上回るか？
• RQ3 タイプ情報は、局所的コンテキストを超えて、コードにおけるグローバルな構造的パターンをどの程度捉えるのに役立つのか？
• RQ4 固有表現のトレーニング頻度に応じて、パフォーマンス向上の度合いはどのように変化するか？
• RQ5 タイプとエンティティ名の予測を統合的にモデリングするアプローチは、タイプ特徴を追加したモデルよりも低い perplexity を達成できるか？

主な発見

• 提案されたモデルは、最先端のモデルと比較して、レシピ生成において52.2%低い perplexity を達成した。
• コード生成においては、SOTAベースラインと比較して perplexity を22.06%低減した。
• 「Apple」や「Tomato」のような低頻度の材料について、MCQタスクにおける正解率が50パーセンテージポイント以上向上した。
• モデルのパフォーマンス向上はエンティティのトレーニング頻度と逆比例しており、希少なエンティティに対してより顕著な向上が見られた。
• タイプモデル単体でも、語彙サイズの縮小と一般化性能の向上により、予測精度が向上した。
• ローカルコンテキストのみを用いても、モデルはグローバルなコード構造を効果的に捉え、SLP-Core よりも低い perplexity（2.65 vs. 3.40）を達成した。