[論文レビュー] Knowledge-Augmented Language Model and its Application to Unsupervised Named-Entity Recognition

Angli Liu, Jingfei Du+1 more|arXiv (Cornell University)|Apr 9, 2019

Topic Modeling参考文献 22被引用数 9

ひとこと要約

本稿では、外部知識ベース（KB）のエンティティおよびタイプを統合することで、言語モデリングの性能を向上させるとともに、教師なし名前付きエンティティ認識（NER）を可能にする、エンド・ト・エンドで微調整可能な知識拡張言語モデル（KALM）を提案する。文脈に応じたゲーティング機構を用いて一般語とKBエンティティの間で選択を行うことで、KALMは言語モデリングにおいて最先端のパープレキシティを達成し、NERではF1スコア0.86を達成した。これは、学習データの40％程度で訓練された教師ありモデルと同等の性能である。

ABSTRACT

Traditional language models are unable to efficiently model entity names observed in text. All but the most popular named entities appear infrequently in text providing insufficient context. Recent efforts have recognized that context can be generalized between entity names that share the same type (e.g., \emph{person} or \emph{location}) and have equipped language models with access to an external knowledge base (KB). Our Knowledge-Augmented Language Model (KALM) continues this line of work by augmenting a traditional model with a KB. Unlike previous methods, however, we train with an end-to-end predictive objective optimizing the perplexity of text. We do not require any additional information such as named entity tags. In addition to improving language modeling performance, KALM learns to recognize named entities in an entirely unsupervised way by using entity type information latent in the model. On a Named Entity Recognition (NER) task, KALM achieves performance comparable with state-of-the-art supervised models. Our work demonstrates that named entities (and possibly other types of world knowledge) can be modeled successfully using predictive learning and training on large corpora of text without any additional information.

研究の動機と目的

• 外部知識ベース（KB）からの事実的知識を統合することで、希少な名前付きエンティティに対しても言語モデリングを改善すること。
• アノテート済み学習データや外部タガーモジュールに依存せずに、教師なし名前付きエンティティ認識（NER）を可能にすること。
• ゲーティング機構を用いた予測学習が、生テキストから潜在的なエンティティタイプ情報を効果的に学習できることを示すこと。
• モデルのKB品質およびエンティティ語彙の破損に対するロバストネスを評価すること。
• パープレキシティを唯一の目的関数としてエンド・ト・エンドで訓練することにより、高品質なNERシステムが得られることを示すこと。

提案手法

• KALMは、文脈に基づいて一般語彙からかKBエンティティからかを決定するゲーティング機構を備えた従来のRNN言語モデルを拡張したものである。
• モデルはエンティティタイプ埋め込みを用いてゲーティング機構を制御し、次に生成すべきトークンが特定のタイプの名前付きエンティティであるかどうかを予測できるようにする。
• ゲーティング機構は、標準的な言語モデリング目的（テキストシーケンスのパープレキシティを最小化）のみを用いてエンド・ト・エンドで学習される。
• エンティティ生成は、タイプごとに分割されたKBから行われ、モデルは文脈に基づいて関連するエンティティタイプに注目するように学習する。
• 推論時、モデルの予測されたエンティティタイプと生成確率が、教師なしで名前付きエンティティを同定するために用いられる。
• モデルは、エンティティタイプの事前確率P(τ|y)を組み込むなどの追加のデコード戦略を用いてファインチューニングされ、NER性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 テキストのパープレキシティのみで訓練された言語モデルが、いかなる教師信号も用いずに名前付きエンティティを認識できるか。
• RQ2 KB拡張言語モデルは、標準的な言語モデルと比較して、言語モデリングのパープレキシティをどの程度向上させられるか。
• RQ3 知識ベースの品質が、教師なしNERシステムの性能にどの程度影響を及ぼすか。
• RQ4 言語モデリングの過程で学習された潜在的エンティティタイプ予測を、競争力のあるNERシステムの構築に活用できるか。
• RQ5 ラベル付きデータの量を変化させた場合、教師なしKALMモデルの性能は、教師ありモデルと比較してどの程度となるか。

主な発見

• KALMは、標準的な言語モデリングベンチマークで、従来の言語モデルを上回る新しい最先端のパープレキシティを達成した。
• 基本的なKALMモデルは、ラベルなしデータを一切使用せず、CoNLL-2003 NERベンチマークでF1スコア0.72を達成し、効果的な教師なし学習を示した。
• より大きなコーパス（CoNLL-2003 + WikiText-2）で学習することで、NERのF1は0.84に向上し、教師なし学習におけるスケールの利点を示した。
• 最良のKALMモデルはF1スコア0.86に達し、訓練データの40％程度で学習された教師ありCRF-biLSTMモデルと同等の性能を示した。
• KBの破損、特にエンティティタイプの欠落がモデルのNER性能を低下させることから、KB品質に感受性が高いことが示された。
• デコード段階で事前確率P(τ|y)を追加することで、F1は0.84から0.86に向上し、タイプ事前確率の組み込みの価値が確認された。