[論文レビュー] Dynamic Entity Representations in Neural Language Models

Yangfeng Ji, Chenhao Tan+3 more|arXiv (Cornell University)|Aug 2, 2017

Topic Modeling参考文献 20被引用数 11

ひとこと要約

この論文では、文脈内のエンティティの分散表現を動的に維持・更新できる生成的ニューラル言語モデルであるEntityNLMを提案する。これにより、言語モデリング、共参照解決、エンティティ予測の性能が向上する。エンティティとその進化する表現を明示的に追跡することで、モデルは3つのタスクすべてで強力なベースラインを上回り、シーケンス生成における動的エンティティモデリングの価値を示している。

ABSTRACT

Understanding a long document requires tracking how entities are introduced and evolve over time. We present a new type of language model, EntityNLM, that can explicitly model entities, dynamically update their representations, and contextually generate their mentions. Our model is generative and flexible; it can model an arbitrary number of entities in context while generating each entity mention at an arbitrary length. In addition, it can be used for several different tasks such as language modeling, coreference resolution, and entity prediction. Experimental results with all these tasks demonstrate that our model consistently outperforms strong baselines and prior work.

研究の動機と目的

• 長期間にわたる文脈において、従来の言語モデルがエンティティとその進化する役割を明示的に追跡できないという限界に対処すること。
• テキストに登場する各エンティティについて、動的で文脈に依存する表現を維持する生成モデルを開発すること。
• エンティティ固有の表現を活用することで、共参照解決、言語モデリング、エンティティ予測のパフォーマンスを向上させること。
• 統一されたフレームワーク内で、言語モデリング、共参照再順序付け、エンティティクローズ（穴埋め）の柔軟な推論モードを可能にすること。

提案手法

• モデルは、各トークンに対して3つの主要な確率的変数（R_t：メンションインジケータ、L_t：現在のメンションの長さ、E_t：エンティティインデックス）を追加した再帰的ニューラルネットワーク言語モデルを拡張したものである。
• 各エンティティには、エンティティが参照された際にゲーテッド更新機構（LSTMに類似）を用いて動的に更新される連続ベクトル表現e_i,tが割り当てられる。
• モデルは階層的な生成的ストーリーを採用：エンティティメンションがエンティティ表現に基づいて生成され、その表現がその後の語の予測に影響を与える。
• エンティティ表現は、エンティティが実際にメンションされた場合にのみ更新されるため、疎且つ文脈に依存するメモリ割り当てが可能である。
• モデルは、エンティティメンションと共参照情報をアノテートしたデータ上で、語とエンティティ変数の同時尤度関数を最適化することで、エンドツーエンドに学習される。
• 推論では、複数のモードをサポート：完全なテキスト生成、周辺化による共参照再順序付け、条件付き確率推定によるエンティティ予測。

実験結果

リサーチクエスチョン

• RQ1 ニューラル言語モデルが、エンティティの動的表現を明示的に維持・更新することで、長文脈理解が向上するか？
• RQ2 動的エンティティ表現を組み込むことで、言語モデリング、共参照解決、エンティティ予測のパフォーマンスにどのような影響を与えるか？
• RQ3 同じモデルアーキテクチャを、共有されたエンティティ表現を活用することで、複数のNLPタスクに柔軟に適用可能か？
• RQ4 動的エンティティモデリングは、静的または文脈のみに依存するエンティティ表現よりも、一般化性能が優れているか？

主な発見

• EntityNLMは、CoNLL 2012の言語モデリングタスクにおいて、強力なn-gramおよびRNN言語モデルを上回り、明示的なエンティティ追跡によってパープレキシティが向上することを示した。
• 既存のシステムが生成したk個の最良出力に対して共参照再順序付けを行う際、EntityNLMはCoNLL 2012テストセットで最先端の性能を達成した。
• InScriptエンティティ予測コーパスにおいて、EntityNLMは、事前に定義されたエンティティタイプに依存する従来手法を上回り、最先端のパフォーマンスを達成した。
• エンティティメンションを文脈に応じて生成し、エンティティ表現を動的に更新できる能力により、より一貫性があり正確なテキスト生成が可能になった。
• このフレームワークは、1つの統一されたアーキテクチャ内で、言語モデリング、共参照解決、エンティティ予測の複数の推論モードをサポートしている。