[論文レビュー] Fast End-to-End Wikification

Ilya Shnayderman, Liat Ein‐Dor+8 more|arXiv (Cornell University)|Aug 19, 2019

Natural Language Processing Techniques参考文献 20被引用数 12

ひとこと要約

本稿では、赤外線リダイレクトを活用して大規模なエンティティリンクを高精度に実現する、高速で実行時最適化されたエンドツーエンドのウィキフィケーションシステムRedWを紹介する。リダイレクトベースのマッチングと、新規の信頼性スコアリング手法（SR_norm）を採用することで、赤外線リダイレクトを活用して大規模なコーパスを効率的に処理可能となり、TagMeと比較して10倍以上高速な実行時間を達成する。同時に、低信頼度の予測に対しては重い処理手法を的確に適用でき、わずかなオーバーヘッドで精度を顕著に向上できる。

ABSTRACT

Wikification of large corpora is beneficial for various NLP applications. Existing methods focus on quality performance rather than run-time, and are therefore non-feasible for large data. Here, we introduce RedW, a run-time oriented Wikification solution, based on Wikipedia redirects, that can Wikify massive corpora with competitive performance. We further propose an efficient method for estimating RedW confidence, opening the door for applying more demanding methods only on top of RedW lower-confidence results. Our experimental results support the validity of the proposed approach.

研究の動機と目的

• 大規模NLPコーパス向けにスケーラブルでリアルタイム対応可能なウィキフィケーションソリューションの不足を解消すること。
• コンテキストに依存しない、実行時最適化されたエンティティリンクシステムを構築し、競争力のある精度を維持すること。
• 低信頼度の予測を特定するための効率的な信頼性推定を可能にすること。
• 高速なベースウィキフィケーションと選択的再処理を組み合わせることで、全体の精度を顕著に向上させられることを示すこと。

提案手法

• RedWは、事前に構築されたWikipediaのタイトルとリダイレクトページのspotMapを用い、テキスト内のn-gramをマッチングする。この際、より長い一致を優先し、重複を避ける。
• エンティティリンクでは、マッチした語句をリダイレクト解決によりWikipediaページにマッピングする。重複ページ（disambiguation pages）は除外することでノイズを低減する。
• 予測の信頼性をランク付けするため、概念頻度とリンク統計に基づく正規化された信頼性スコアSR_normを導入する。
• RedW+は、重複ページを含めるよう拡張されたRedWであり、再計算のための精度を犠牲にしつつ、再処理の余地を広げる。
• 信頼性スコアSR_normを用いて、より正確でコンテキストに配慮した手法による再処理の対象となる低信頼度の表記を優先的に選別する。
• 平均化による文書レベルのスコアリングをサポートし、グローバルな重複解決に価値のある文書を特定可能にする。

実験結果

リサーチクエスチョン

• RQ1 コンテキストに依存しないウィキフィケーションシステムは、既存の手法と比べて数個のオーダー以上に高速に動作しながら、競争力のある精度を達成できるか？
• RQ2 Wikipediaリダイレクト統計に基づく信頼性スコアリング機構は、低信頼度の予測を効果的に同定できるか？
• RQ3 信頼性スコアで選別された部分集合に対してのみ、より重いコンテキストに配慮した手法を適用することで、精度をどの程度向上できるか？
• RQ4 軽量でリダイレクトベースのシステムは、ハイブリッドウィキフィケーションパイプラインのスケーラブルな基盤として機能できるか？

主な発見

• RedWは、Aquaint*を除くすべてのデータセットで最高のF1スコアを達成し、IITBではF1=0.82、WikiではF1=0.85を記録。TagMe、WAT、AIDAを上回る性能を示した。
• RedWは、TagMeと比較して実行時間を10倍以上短縮し、600GBのコーパスを41時間で処理した（TagMeでは22日を要した）。
• SR_normは、RedW+における誤り検出において、すべてのベースラインを上回り、Trans-testセットにおいて最高の精度-再現率トレードオフを達成した。
• SR_normを用いて再処理対象のサブセットを選別した場合、ランダム選択と比較して精度が10%以上向上した。特に小さなサブセットではその恩恵が顕著に現れた。
• 信頼性スコアSR_normは、下流の再処理のための文書および表記の優先順位付けを効果的に可能にし、高いインパクトを持つターゲットを特定した。
• RedW+は、RedWと比較して、全データセットで再現率が2–5%向上した。信頼性ベースのフィルタリングと組み合わせることで、重複ページを含めることの価値を示した。