[論文レビュー] Global Entity Disambiguation with Pretrained Contextualized Embeddings of Words and Entities

Ikuya Yamada, Koki Washio+2 more|arXiv (Cornell University)|Jan 1, 2020

Topic Modeling参考文献 30被引用数 29

ひとこと要約

この論文では、Wikipediaアノテートテキスト上でマスクされたエンティティ予測タスクを用いて訓練された、単語およびエンティティのコンテキストに依存する埋め込みを活用するグローバルエンティティ分散化モデルを提案する。EDをグローバルな文脈を捉えるための逐次的意思決定タスクとして定式化することで、6つの標準データセットにおいて最先端の性能を達成し、1つのデータセットを除いて従来手法を上回った。

ABSTRACT

We propose a new global entity disambiguation (ED) model based on contextualized embeddings of words and entities. Our model is based on a bidirectional transformer encoder (i.e., BERT) and produces contextualized embeddings for words and entities in the input text. The model is trained using a new masked entity prediction task that aims to train the model by predicting randomly masked entities in entity-annotated texts obtained from Wikipedia. We further extend the model by solving ED as a sequential decision task to capture global contextual information. We evaluate our model using six standard ED datasets and achieve new state-of-the-art results on all but one dataset.

研究の動機と目的

• 双方向トランスフォーマー・エンコーダーから得られるコンテキストに依存する単語およびエンティティ埋め込みを活用することで、グローバルエンティティ分散化を向上させること。
• 従来のEDアプローチにおけるローカルコンテキストモデリングの限界を、逐次的意思決定を通じてグローバルコンテキスト情報を統合することで克服すること。
• エンティティアノテートテキスト上で、新しいマスクされたエンティティ予測目的を用いて、モデルを効果的に訓練すること。
• 標準的なエンティティ分散化ベンチマークで最先端の性能を達成すること。

提案手法

• 入力テキスト内の単語およびエンティティの両方のコンテキストに依存する埋め込みを生成するために、双方向トランスフォーマー・エンコーダー（BERT）を用いる。
• Wikipediaアノテートテキスト内のランダムにマスクされたエンティティをモデルが予測する、マスクされたエンティティ予測の事前学習タスクを導入する。
• エンティティ分散化を、文書全体のグローバルコンテキストを活用できるように、逐次的意思決定タスクとして拡張する。
• 推論中に単語とエンティティの意味を同時にモデル化するために、トランスフォーマー・エンコーダーからのコンテキストに依存する表現を活用する。
• 標準的な評価プロトコルに従い、下流のエンティティ分散化データセット上でモデルをエンドツーエンドで微調整する。
• 入力シーケンス全体からのコンテキスト特徴を統合する、エンティティ候補の条件付き確率モデルを採用する。

実験結果

リサーチクエスチョン

• RQ1 単語とエンティティの両方のコンテキストに依存する埋め込みを統合したBERTベースのモデルは、従来手法と比較してエンティティ分散化の性能を向上させることができるか？
• RQ2 マスクされたエンティティ予測の事前学習目的は、コンテキストにおける単語とエンティティの関係を効果的に捉えているか？
• RQ3 エンティティ分散化を逐次的意思決定タスクとして定式化することで、グローバルコンテキストを活用し、性能がどの程度向上するか？
• RQ4 提案手法は、多様なエンティティ分散化ベンチマークにおいて、既存の最先端手法と比較してどのように差をつけるか？

主な発見

• 提案手法は6つの標準エンティティ分散化データセットすべてで最先端の結果を達成し、一貫した性能向上を示した。
• 6つのベンチマークデータセットのうち1つを除き、従来手法を上回ったことから、多様なドメインにわたり広範に有効であることが示された。
• マスクされたエンティティ予測の事前学習目的が、コンテキスト内での正しいエンティティ予測能力を効果的に向上させた。
• EDを逐次的意思決定タスクとして定式化することで、長距離依存関係やグローバルコンテキストを考慮できるようになり、性能が顕著に向上した。
• コンテキストに依存する単語とエンティティの埋め込みを統合することで、単語レベルのコンテキストに依存するモデルよりも、より正確なエンティティ予測が可能になった。
• 特に長文コンテキストや曖昧な状況において、異なる種類のエンティティアノテートテキストに対して優れた一般化性能を示した。