[論文レビュー] Design Challenges in Low-resource Cross-lingual Entity Linking

Xingyu Fu, Weijia Shi+3 more|arXiv (Cornell University)|May 2, 2020

Topic Modeling参考文献 17被引用数 5

ひとこと要約

この論文では、低リソース言語におけるWikipediaの相互言語リンクの制限を克服するために、検索エンジンのクエリログを活用するゼロショットクロスリンガルエンティティリンクシステムQuELを提案する。クエリログを外部のクロスリンガルリソースとして用いることで、QuELはWikipedia外のテキストにおいて、ゴール候補のリCALLを平均25%向上させ、エンドツーエンドのリンク精度を13%向上させ、最先端のベースラインを上回る性能を達成した。

ABSTRACT

Cross-lingual Entity Linking (XEL), the problem of grounding mentions of entities in a foreign language text into an English knowledge base such as Wikipedia, has seen a lot of research in recent years, with a range of promising techniques. However, current techniques do not rise to the challenges introduced by text in low-resource languages (LRL) and, surprisingly, fail to generalize to text not taken from Wikipedia, on which they are usually trained. This paper provides a thorough analysis of low-resource XEL techniques, focusing on the key step of identifying candidate English Wikipedia titles that correspond to a given foreign language mention. Our analysis indicates that current methods are limited by their reliance on Wikipedia's interlanguage links and thus suffer when the foreign language's Wikipedia is small. We conclude that the LRL setting requires the use of outside-Wikipedia cross-lingual resources and present a simple yet effective zero-shot XEL system, QuEL, that utilizes search engines query logs. With experiments on 25 languages, QuEL~shows an average increase of 25\% in gold candidate recall and of 13\% in end-to-end linking accuracy over state-of-the-art baselines.

研究の動機と目的

• 既存の低リソースクロスリンガルエンティティリンク（XEL）手法の限界、特に候補生成における課題を分析すること。
• Wikipediaの相互言語リンクに依存することで、特にWikipedia外のテキストへのリンクにおいて、低リソース言語（LRLs）の性能が著しく制限されることを特定すること。
• Wikipediaを超える別のクロスリンガル信号のソースを提案することで、LRLにおけるクロスリンガルの監視不足を是正すること。
• 検索エンジンのクエリログを用いてカバレッジと正確性を向上させる、新規の候補生成手法QuEL_CGを開発・評価すること。
• WikipediaベースのデータセットおよびWikipedia外のデータセットの両方で最先端の性能を達成する、完全なゼロショットXELフレームワークQuELを実証すること。

提案手法

• QuEL_CGは、低リソース言語（LRL）の表記から英語Wikipediaエンティティへの候補マッピングを、Wikipediaの相互言語リンクに依存せずに生成する。
• 各クエリログエントリを、LRL表記が特定の英語Wikipediaエンティティにリンクする可能性のあるクロスリンガルマッピングとして扱う。
• 特定の英語Wikipediaページに解決するLRL表記を含むすべてのクエリを集めて、確率的候補リストを構築することで、二国語マッピングを構築する。
• Wikipediaよりも桁違いに規模が大きく多様性に富んだクエリログの特徴を活用し、LRLのWikipediaや相互言語リンクに存在しないエンティティをカバーする。
• QuELはQuEL_CGを完全なゼロショットXELパイプラインに統合し、LRLデータへの微調整を必要としないシンプルなランク付けモジュールを用いる。
• Wikipedia固有のリソースに依存せず、外部でスケーラブルなクロスリンガル信号に依存することで、Wikipedia外のテキストへの一般化を図る。

実験結果

リサーチクエスチョン

• RQ1 なぜ既存の低リソースXELシステムは、ニュースやソーシャルメディアなどのWikipedia外のテキストに一般化できないのか？
• RQ2 LRLのWikipediaのサイズとその相互言語リンクカバレッジの規模が、現在のXEL候補生成手法の性能にどの程度制限を及えるのか？
• RQ3 検索エンジンのクエリログは、低リソース環境におけるクロスリンガルエンティティリンクの代替として実用的でスケーラブルなソースとして機能するのか？
• RQ4 Wikipedia依存のベースラインと比較して、クエリログに基づく候補生成手法は、ゴール候補のリCALLとエンドツーエンドのリンク精度の向上にどの程度効果的か？
• RQ5 相互言語リンクが乏しい状況でも、提案されたQuELシステムは多様なエンティティタイプや言語で強力な性能を維持できるのか？

主な発見

• LORELEIデータセット（Wikipedia外のテキストを含む）において、QuELは最先端のベースライン比でゴール候補リCALLを平均25%向上させた。
• 同じデータセットにおいて、QuELは最良のベースライン比でエンドツーエンドのリンク精度を13%向上させ、Wikipedia外のテキストへの一般化性能が優れていることを示した。
• Wikipediaベースのデータセットでは、QuELはゴール候補リCALLを4%向上させ、リンク精度においても最先端の性能を達成または上回った。
• Wikipediaの相互言語リンクにカバーされていないLRL固有のエンティティに関して、QuELはゴール候補リCALLを6.3%から27.4%まで向上させ、低監視環境下での有効性を確認した。
• GPEおよびLOCエンティティにおいて特に優れた性能を示したが、これは検索ログデータにGoogleマップのクエリログの影響があると考えられる。
• 相互言語リンクが乏しい低リソース言語においても、QuELはELISA、xlwikifier、xelmsを含むすべてのベースラインを上回り、言語やエンティティタイプを問わず優れた性能を発揮した。