[論文レビュー] ReFinED: An Efficient Zero-shot-capable Approach to End-to-End Entity Linking

Tom Ayoola, Shubhi Tyagi+3 more|arXiv (Cornell University)|Jul 8, 2022

Topic Modeling被引用数 6

ひとこと要約

ReFinED は、エンティティの説明とタイプを用いて、1回のフォワードパスで mention 検出、細粒度のエンティティタイプ指定、エンティティの曖昧性解消を統合的に行う高速でエンドツーエンドのエンティティリンキングモデルである。ReFinED は、先行手法よりも平均で 3.7 F1 ポイントの向上を達成しており、高精度なベースラインの 60 倍以上も高速であるため、Wikidata の 9000 万以上のエンティティをサポートする大規模なウェブスケールデータセットへの効率的なデプロイが可能である。

ABSTRACT

We introduce ReFinED, an efficient end-to-end entity linking model which uses fine-grained entity types and entity descriptions to perform linking. The model performs mention detection, fine-grained entity typing, and entity disambiguation for all mentions within a document in a single forward pass, making it more than 60 times faster than competitive existing approaches. ReFinED also surpasses state-of-the-art performance on standard entity linking datasets by an average of 3.7 F1. The model is capable of generalising to large-scale knowledge bases such as Wikidata (which has 15 times more entities than Wikipedia) and of zero-shot entity linking. The combination of speed, accuracy and scale makes ReFinED an effective and cost-efficient system for extracting entities from web-scale datasets, for which the model has been successfully deployed. Our code and pre-trained models are available at https://github.com/alexa/ReFinED

研究の動機と目的

• Wikidata のような大規模な知識ベースにおける未学習エンティティに対してもゼロショット一般化が可能な、効率的でエンドツーエンドのエンティティリンキングシステムの開発。
• 複数回のフォワードパスや自己回帰的デコードを必要とする従来のゼロショット EL モデルの計算効率の低さを克服すること。
• 低推論遅延を維持しつつ、標準的なエンティティリンキングベンチマークで最先端の性能を向上させること。
• スピード、正確性、大規模 KB のサポートを組み合わせることで、100億ページにの及ぶウェブスケールデータセットへのスケーラブルなデプロイを可能にすること。
• mention 検出、タイプ指定、曖昧性解消を統合した単一で自己完結型のモデルにすることで、本番環境でのデプロイを簡素化すること。

提案手法

• ReFinED は、1回のフォワードパスで文書内のすべての mention と候補となる KB エンティティを統合的にエンコードする、1つのトランスフォーマー基盤のエンコーダーを用いる。
• 再トレーニングを必要とせずに、曖昧性解消の精度を向上させるために、細粒度のエンティティタイプと完全なエンティティ説明を入力特徴として統合する。
• マルチタスク学習の目的関数を用いて、mention 検出、細粒度エンティティタイプ指定、エンティティの曖昧性解消を同時に学習する。
• トレーニング中に見られなかったエンティティに対してもゼロショット一般化を向上させるために、Wikipedia のハイパーリンクで事前学習する。
• すべての mention と候補を同時にエンコードすることで、複数の推論パスを回避し、計算コストを削減する。
• Wikidata トリプルから得られる遠隔教師付きデータセットを微調整に用いることで、エンティティタイプの抽出を可能にし、大規模 KB へのスケーラビリティを実現する。

実験結果

リサーチクエスチョン

• RQ1 1つの効率的なトランスフォーマー基盤モデルが、高精度かつ低遅延で、mention 検出、エンティティタイプ指定、曖昧性解消を統合的に実行できるか？
• RQ2 細粒度のエンティティタイプと完全な説明を組み込むことで、Wikidata のような大規模 KB における未学習エンティティへの強力なゼロショット一般化が可能か？
• RQ3 このようなモデルが、既存のゼロショット対応ベースラインよりも顕著に高速でありながら、最先端の性能を達成できるか？
• RQ4 Wikipedia よりも 15 倍大きな知識ベース、たとえば Wikidata に対して、性能劣化を伴わずにスケーリングできるか？
• RQ5 最小限の運用オーバーヘッドで、100億ページのデータセットに対してウェブスケールで効率的にデプロイ可能か？

主な発見

• ReFinED は、8つの標準的なエンティティリンキングデータセット全体で、先行手法よりも平均 3.7 F1 ポイントの向上を達成し、新たな最先端性能を樹立した。
• WikiLinkNED の未学習 mention ベンチマークでは、68.2 F1 を達成し、次に優れたモデルよりも 4.9 ポイント高い性能を示した。
• ReFinED は、BLINK のクロスエンコーダーよりも 60 倍速く、Cao ら (2020) の自己回帰的モデルよりも 140 倍速く、AIDA-CoNLL データセットでの推論時間はわずか 15 秒である。
• 27,000 時間（500 枚の T4 GPU で 2 日間）で 100 億ページのウェブページに 2500 億の mention を処理し、コスト効率の高いスケーラビリティを実証した。
• Wikipedia よりも 15 倍多くのエンティティを有する Wikidata においても、強力な性能を維持しており、Wikipedia に偏った KB を超えたスケーラビリティを実証した。
• 単一フォワードパス推論アーキテクチャのおかげで、BLINK のバイエンコーダーと比較して運用コストを 6 倍以上、自己回帰的モデルと比較して 140 倍以上削減した。