[論文レビュー] A Neural Language Model for Dynamically Representing the Meanings of Unknown Words and Entities in a Discourse

Sosuke Kobayashi, Naoaki Okazaki+1 more|arXiv (Cornell University)|Sep 6, 2017

Topic Modeling参考文献 34被引用数 12

ひとこと要約

本稿では、文脈的情報を用いてRNN言語モデルの入力層および出力層で動的かつリアルタイムに単語埋め込みを構築・更新する、動的ニューラルテキストモデルを提案する。これにより、未知語や固有表現の正確な表現が可能となり、新規に作成された匿名化言語モデルデータセットにおける実験では、ベースラインを上回る性能を示した。動的出力層の更新は再出現する固有表現の予測を向上させ、入力層の動的更新はそれらの固有表現に続く語の予測を向上させた。

ABSTRACT

This study addresses the problem of identifying the meaning of unknown words or entities in a discourse with respect to the word embedding approaches used in neural language models. We proposed a method for on-the-fly construction and exploitation of word embeddings in both the input and output layers of a neural model by tracking contexts. This extends the dynamic entity representation used in Kobayashi et al. (2016) and incorporates a copy mechanism proposed independently by Gu et al. (2016) and Gulcehre et al. (2016). In addition, we construct a new task and dataset called Anonymized Language Modeling for evaluating the ability to capture word meanings while reading. Experiments conducted using our novel dataset show that the proposed variant of RNN language model outperformed the baseline model. Furthermore, the experiments also demonstrate that dynamic updates of an output layer help a model predict reappearing entities, whereas those of an input layer are effective to predict words following reappearing entities.

研究の動機と目的

• 静的で閉じた語彙に基づく単語埋め込みの限界に対処すること。これは、未知語を一様に扱い、文脈を超えて普遍的な語の意味を仮定する。
• 話法的文脈に基づき、未知語や固有表現のための動的単語埋め込みをリアルタイムに構築することにより、系列モデルにおける意味表現の向上を実現すること。
• 限られた事前の出現回数からの語の意味の推論能力を評価することにより、読解理解におけるワンショット学習を模擬すること。
• 文脈的意味理解の評価のための新規ベンチマークタスクおよびデータセット「匿名化言語モデル（Anonymized Language Modeling）」の開発と公開。
• 動的入力層表現と動的出力層表現の、再出現固有表現およびその文脈予測における相対的寄与度を調査すること。

提案手法

• 入力層および出力層に動的単語埋め込みを備えたRNN言語モデルの変種を用い、埋め込みは双方向RNNエンコーダーを用いて直前の文脈から計算される。
• 未知語または語彙外語の場合、モデルはコアファレンスインデックス [k] を割り当て、話法内での直前の言及から得られる文脈的情報を用いてその埋め込みを構築する。
• 出力に希少語や未知語を文脈から直接コピーするコピーメカニズムを統合し、語彙外語の処理を改善する。
• 動的固有表現は、各固有表現の出現周辺の局所的文脈をエンコードする双方向RNN（bi-RNN）を用いて更新され、複数の出現において一貫した表現が維持される。
• 同じ固有表現の複数の文脈表現を統合するため、ゲート付きRNN（GRUまたはLSTM）を用いて、1つの進化するベクトル表現に統合する。
• 出力層での動的更新により再出現固有表現の予測が向上し、入力層での動的更新によりそれらの固有表現に続く語の予測が向上する。

実験結果

リサーチクエスチョン

• RQ1 神経言語モデルは、話法的文脈に基づき、未知語や固有表現のための動的単語埋め込みをリアルタイムに構築・更新できるか？
• RQ2 再出現固有表現およびその文脈を予測する際、入力層の動的埋め込みと出力層の動的埋め込みのどちらが優れているか？
• RQ3 話法内での語の数回の事前の出現からのみ、語の意味をどれほど正確に推論できるか？（ワンショット学習を模擬する。）
• RQ4 動的埋め込みに加えてコピーメカニズムを組み込むことで、語彙外語の予測性能が向上するか？
• RQ5 提案された「匿名化言語モデル」タスクは、文脈的語の意味獲得の評価にどの程度有効であるか？

主な発見

• 提案された動的ニューラルテキストモデルは、新規の匿名化言語モデルデータセットにおいて、静的でグローバルな単語埋め込みを用いたベースラインモデルを上回った。
• 出力層における動的更新は、話法内での固有表現の同一性を追跡する能力を著しく向上させ、再出現固有表現の予測性能向上を示した。
• 入力層における動的更新は、再出現固有表現に続く語の予測においてより効果的であり、固有表現認識後の文脈モデリングの向上を示した。
• モデルは限られた文脈的露出からのみ未知語の意味を的確に捉えることができ、語の意味に関する強力なワンショット学習能力を示した。
• アブレーションスタディにより、動的入力層および出力層表現の両方が性能向上に独自に寄与しており、それぞれが固有表現の追跡と文脈予測において明確に異なる役割を果たしていることが確認された。
• 同じ固有表現の複数の文脈表現を蓄積・統合する能力により、長時間にわたる話法スパンにおいてもより正確で一貫性のある意味表現が得られた。