[論文レビュー] A Hybrid Approach to Domain-Specific Entity Linking

Alex Olieman, Jaap Kamps+2 more|arXiv (Cornell University)|Sep 6, 2015

Topic Modeling参考文献 10被引用数 4

ひとこと要約

本稿では、ドメイン固有のスペシャリストリンクャーと汎用システムを組み合わせることでドメイン固有のコーパスにおけるパフォーマンスを向上させるハイブリッドエンティティリンクィング手法を提案する。スペシャリストリンクャーによるローカルコンテキストの活用と汎用システムによるリCALLの確保を通じ、高い正確性（precision）とリCALLを達成し、ドメイン固有の会話コーパスを対象とした新規ベンチマークにおいて、単独でのアプローチを上回る性能を発揮する。

ABSTRACT

The current state-of-the-art Entity Linking (EL) systems are geared towards corpora that are as heterogeneous as the Web, and therefore perform sub-optimally on domain-specific corpora. A key open problem is how to construct effective EL systems for specific domains, as knowledge of the local context should in principle increase, rather than decrease, effectiveness. In this paper we propose the hybrid use of simple specialist linkers in combination with an existing generalist system to address this problem. Our main findings are the following. First, we construct a new reusable benchmark for EL on a corpus of domain-specific conversations. Second, we test the performance of a range of approaches under the same conditions, and show that specialist linkers obtain high precision in isolation, and high recall when combined with generalist linkers. Hence, we can effectively exploit local context and get the best of both worlds.

研究の動機と目的

• 一般向けエンティティリンクィングシステムがドメイン固有のコーパスに対して性能が劣る理由（ローカルコンテキストへの認識不足）を解決すること。
• ドメイン固有の会話的テキストにおけるエンティティリンクィングを評価する再利用可能なベンチマークを開発すること。
• スペシャリストリンクャーと汎用リンクャーを統合することで、ドメイン固有の状況において高い正確性と高いリCALLを両立できるかを調査すること。
• スペシャリストリンクャーと汎用リンクャーを統合することで、ローカルコンテキストを効果的に活用しながらリCALLを損なわずにパフォーマンスを向上させられることを実証すること。

提案手法

• 著者らは、会話ドメインのドメイン固有コーパスに特化した、高精度を実現するローカルコンテキストに焦点を当てた専用リンクャーを設計・実装する。
• これらのスペシャリストリンクャーを、既存の汎用エンティティリンクィングシステムと統合し、リCALLを向上させる。
• ハイブリッドシステムでは、まずスペシャリストリンクャーを適用し、その後で残存するリンクされていない表記（mentions）を汎用システムで処理する。
• 一貫した条件での評価を可能にするために、ドメイン固有の会話コーパスから新規ベンチマークを構築する。
• 標準的な指標（精度、リCALL、F1スコア）を用いて、ベンチマークデータセット上でのパフォーマンスを測定する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン固有のスペシャリストリンクャーは、会話ドメインのコーパスに単独で適用した場合、高い正確性を達成できるか？
• RQ2 スペシャリストリンクャーと汎用リンクャーを統合した場合、ドメイン固有のエンティティリンクィングにおいて高いリCALLを維持しながらも高い正確性を達成できるか？
• RQ3 スペシャリストリンクャーによるローカルコンテキストの統合は、汎用システム単体よりも全体のパフォーマンスを向上させるか？
• RQ4 提案されたベンチマークは、ドメイン固有のエンティティリンクィングシステムの一貫性のある再現可能な評価に適しているか？

主な発見

• スペシャリストリンクャー単体でも高い正確性を達成しており、ローカルコンテキストを効果的に活用した場合の優れた性能を示している。
• 汎用システムと統合されたハイブリッドアプローチは高いリCALLを達成しており、未確認または曖昧な表記のカバーが有効に行われていることが示された。
• 新規ベンチマーク上でのF1スコアにおいて、ハイブリッドシステムはスペシャリストシステム単体および汎用システム単体の両方を上回る性能を発揮した。
• ベンチマークデータセットがドメイン固有のエンティティリンクィングの評価に有効であることが示され、異なる手法間の一貫した比較が可能となった。