[論文レビュー] Scalable graph-based individual named entity identification

Sammy Khalife, Michalis Vazirgiannis|arXiv (Cornell University)|Nov 26, 2018

Topic Modeling参考文献 26被引用数 6

ひとこと要約

本論文は、スケーラブルな名前付きエンティティリンキング（NEL）のための2段階のグラフベースのアプローチを提案する。まず、情報検索技術を用いて候補を絞り込み、次にグラフマイニングとグラフカーネルを用いて上位K件の結果を再順序付けする。NIST TAC-KBPデータセットでは最先端のP@1を達成し、CONLL/AIDAでも競争力ある性能を示しており、既存のグラフベース手法を上回り、より少ないハイパーパrameterと少ないラベル付きデータでディープラーニングシステムと同等の性能を発揮する。

ABSTRACT

Named entity discovery (NED) is an important information retrieval problem that can be decomposed into two sub-problems. The first sub-problem, named entity recognition (NER), aims to tag pre-defined sets of words in a vocabulary (called "named entities": names, places, locations, ...) when they appear in natural language. The second subproblem, named entity linking/identification (NEL), considers these entity mentions as queries to be identified in a pre-existing database. In this paper, we consider the NEL problem, and assume a set of queries (or mentions) that have to be identified within a knowledge base. This knowledge base is represented by a text database paired with a semantic graph. We present state-of-the-art methods in NEL, and propose a 2-step method for individual identification of named entities. Our approach is well-motivated by the limitations brought by recent deep learning approaches that lack interpratability, and require lots of parameter tuning along with large volume of annotated data. First of all, we propose a filtering algorithm designed with information retrieval and text mining techniques, aiming to maximize precision at K (typically for 5 <= K <=20). Then, we introduce two graph-based methods for named entity identification to maximize precision at 1 by re-ranking the remaining top entity candidates. The first identification method is using parametrized graph mining, and the second similarity with graph kernels. Our approach capitalizes on a fine-grained classification of entities from annotated web data. We present our algorithms in details, and show experimentally on standard datasets (NIST TAC-KBP, CONLL/AIDA) their performance in terms of precision are better than any graph-based method reported, and competitive with state-of-the-art systems. Finally, we conclude on the advantages of our graph-based approach compared to recent deep learning methods.

研究の動機と目的

• ディープラーニングにおけるNELの限界、例えば解釈不能性や高いデータ・パラメータ要件を是正すること。
• 構造化された知識グラフを活用して、個々の名前付きエンティティ同定の正確性を向上させること。
• 既存のグラフベース手法を上回るスケーラブルで効率的かつチューニングが少ないNEL手法を開発すること。
• 細粒度のエンティティタイプを備えた実用的で実装可能なシステムを提供し、実世界のNEL応用に適すること。

提案手法

• まず、情報検索とテキストマイニングを用いたフィルタリングアルゴリズムにより、候補エンティティを上位K（5 ≤ K ≤ 20）に絞り込み、Kでの精度を最大化する。
• 次に、2つのグラフベースの再順序付け手法を導入する：パラメータ化されたグラフマイニング（SGM）とグラフカーネル比較（GK）、両者ともP@1の精度を最大化することを目的とする。
• これらの手法は、各候補エンティティを中心とする知識サブグラフに依存しており、意味的関係とエンティティタイプを用いて類似度特徴を計算する。
• 局所的な知識サブグラフから特徴を抽出することで、候補エンティティと正解エンティティの間で効果的な比較が可能になる。
• 本アプローチは、細粒度のエンティティタイプ（例：PER: Actor, ORG: SoccerClub）の利用を仮定しており、これにより候補のフィルタリングとグラフ構築がガイドされる。
• 計算複雑度はクエリ数とエンティティ数に対して線形であるため、大規模な知識ベースでもスケーラブルである。

実験結果

リサーチクエスチョン

• RQ1 グラフベース手法が、P@1の観点で既存のグラフベースNEL手法を上回ることができるか？
• RQ2 K（上位K件のフィルタリング）の選択が、再順序付け段階における最終的なP@1にどのように影響するか？
• RQ3 少ないハイパーパrameterと少ないラベル付きデータで、最先端のディープラーニングシステムと同等の性能を達成できるか？
• RQ4 エンドツーエンドのディープラーニングモデルと比較して、グラフベース特徴を用いることで、どの程度解釈可能性と効率性が向上するか？

主な発見

• 提案手法は、NIST TAC-KBP 2009および2010データセットにおいて、すべてのグラフベース手法の中で報告された最高のP@1を達成した。
• CONLL/AIDAデータセットでは、最先端のシステムと同等の性能を示し、ベンチマーク間での一般化能力が優れていることが確認された。
• 探索とフィルタリングのバランスを取る最適なKの範囲は5から10の間であり、この範囲外では性能が低下した。
• 計算時間は効率的である：1,000件のクエリを含むサブインスタンス（280万エンティティ）で、フィルタリングに約44分、SGMに約14分、GKに約16分を要した。
• 分散システムでも良好にスケーリングでき、20CPUクラスタでは実行時間が顕著に短縮された。
• 高い性能を達成するには数천件のトレーニングサンプルしか必要としなかったため、ディープラーニングモデルと比較してデータ依存性が低いことが示された。