[論文レビュー] Learning Entity Linking Features for Emerging Entities

Chenwei Ran, Wei Shen+4 more|arXiv (Cornell University)|Aug 8, 2022

Topic Modeling被引用数 4

ひとこと要約

本稿では、Wikipediaへのカバレッジが不足する新規エンティティ（EEs）の高品質なエンティティリンク（EL）特徴量を学習する自己学習アプローチであるSTAMOを提案する。自己学習を内部および外部のスロットにおける最適化プロセスとして扱い、誤り伝搬を緩和することで、少数のラベル付き文書と大量のラベルなしWebデータのみを用いても、EEsのEL性能を顕著に向上させる。

ABSTRACT

Entity linking (EL) is the process of linking entity mentions appearing in text with their corresponding entities in a knowledge base. EL features of entities (e.g., prior probability, relatedness score, and entity embedding) are usually estimated based on Wikipedia. However, for newly emerging entities (EEs) which have just been discovered in news, they may still not be included in Wikipedia yet. As a consequence, it is unable to obtain required EL features for those EEs from Wikipedia and EL models will always fail to link ambiguous mentions with those EEs correctly as the absence of their EL features. To deal with this problem, in this paper we focus on a new task of learning EL features for emerging entities in a general way. We propose a novel approach called STAMO to learn high-quality EL features for EEs automatically, which needs just a small number of labeled documents for each EE collected from the Web, as it could further leverage the knowledge hidden in the unlabeled data. STAMO is mainly based on self-training, which makes it flexibly integrated with any EL feature or EL model, but also makes it easily suffer from the error reinforcement problem caused by the mislabeled data. Instead of some common self-training strategies that try to throw the mislabeled data away explicitly, we regard self-training as a multiple optimization process with respect to the EL features of EEs, and propose both intra-slot and inter-slot optimizations to alleviate the error reinforcement problem implicitly. We construct two EL datasets involving selected EEs to evaluate the quality of obtained EL features for EEs, and the experimental results show that our approach significantly outperforms other baseline methods of learning EL features.

研究の動機と目的

• Wikipediaにまだ登録されていない新規エンティティ（EEs）に対してエンティティリンク（EL）が失敗する課題に対処すること。これは、事前確率や埋め込み表現といった基本的なEL特徴量が欠落しているためである。
• 手動アノテーションの限界や、既存の検索ベース手法がEEsに対して強力なEL特徴量を生成できないという問題を克服すること。
• 少数のラベル付き文書と豊富なラベルなしWebデータのみを用いて、一般化可能な方法でEEsの高品質なEL特徴量を自動的に学習する手法を開発すること。
• 誤り強化問題を解消するために、誤分類データを破棄するのではなく、構造的最適化によりEL特徴量を暗黙的に改善することで、自己学習における誤り蓄積を抑制すること。

提案手法

• 少数のラベル付き文書と大規模なラベルなしWebデータからEEsのEL特徴量を学習する自己学習フレームワークであるSTAMOを提案する。
• 自己学習をEEsのEL特徴量に関する複数の最適化プロセスとして扱い、ベースELモデルの目的関数に合わせてEL特徴量を整える内部スロット最適化を導入する。
• 現在のEL特徴量学習と歴史的学習スロットを結びつけることで、反復処理間での知識移行を可能にする外部スロット最適化を導入する。
• EL特徴量の時間的変化をモデル化する仮想的最適化プロセスを用いることで、耐性を高め、誤り蓄積を低減する。
• 任意の数値的EL特徴量（例：事前確率、関連度スコア、エンティティ埋め込み）やELモデルアーキテクチャとシームレスに統合可能である。
• 学習プロセスの構造を活用し、明示的なインスタンスフィルタリングなしに、ノイズの多い予測を暗黙的に抑制する。

実験結果

リサーチクエスチョン

• RQ1 Wikipediaベースの特徴量が利用できない状況下で、自己学習が新規エンティティの高品質なEL特徴量を効果的に学習できるか？
• RQ2 誤分類データを破棄しない条件下で、自己学習における誤り強化問題をどのように緩和できるか？
• RQ3 内部スロット最適化と外部スロット最適化は、EEsの学習済みEL特徴量の質をどの程度向上できるか？
• RQ4 少数のラベル付き文書に加えてラベルなしデータを組み合わせることで、教師ありベースラインと同等またはそれ以上の性能を達成できるか？
• RQ5 標準的な自己学習や信頼度ベースのフィルタリングと比較して、提案手法の最適化戦略は、EEsの文脈において耐性と正確性の両面で優れているか？

主な発見

• STAMOは、2つの構築済みELデータセットにおいて、ベースライン手法を顕著に上回る性能を示し、新規エンティティのEL特徴量学習において優れた性能を発揮する。
• 提案された内部スロット最適化は、ベースELモデルの目的関数に合わせて学習済みEL特徴量を整えることで、特徴量の質を向上させることに効果的である。
• 外部スロット最適化により、歴史的特徴量更新を活用することで学習が強化され、反復処理間での誤り伝搬が低減される。
• 極めて少ない監視情報（1つの新規エンティティあたり数件のラベル付き文書）で、高品質なEL特徴量学習が達成可能である。
• 最適化による誤り抑制戦略が、明示的な誤分類データの除外戦略を上回り、実用的・実践的により耐性があることが実証された。
• 本手法は一般化可能であり、任意の数値的EL特徴量やELモデルアーキテクチャに柔軟に統合可能である。