[論文レビュー] Fast and accurate annotation of short texts with Wikipedia pages

Paolo Ferragina, Ugo Scaiella|arXiv (Cornell University)|Jun 17, 2010

Topic Modeling参考文献 21被引用数 10

ひとこと要約

この論文では、ツイート、ニューススニペット、検索結果など短いテキストを、Wikipediaのページにリアルタイムでアノテートする高速で高精度なシステム、Tagmeを紹介する。新しいスコア関数を活用し、インリンクの重複と効率的なウィンドウベース処理により、同義語や多義語の問題を解決することで、短いテキストにおいて最先端のパフォーマンスを達成。処理速度（1アンカーあたり1.7ms）と精度の両面で先行研究を上回り、長文においても線形にスケーリングする。

ABSTRACT

We address the problem of cross-referencing text fragments with Wikipedia pages, in a way that synonymy and polysemy issues are resolved accurately and efficiently. We take inspiration from a recent flow of work [Cucerzan 2007, Mihalcea and Csomai 2007, Milne and Witten 2008, Chakrabarti et al 2009], and extend their scenario from the annotation of long documents to the annotation of short texts, such as snippets of search-engine results, tweets, news, blogs, etc.. These short and poorly composed texts pose new challenges in terms of efficiency and effectiveness of the annotation process, that we address by designing and engineering TAGME, the first system that performs an accurate and on-the-fly annotation of these short textual fragments. A large set of experiments shows that TAGME outperforms state-of-the-art algorithms when they are adapted to work on short texts and it results fast and competitive on long texts.

研究の動機と目的

• ツイート、検索スニペット、ニュース記事など、構造が不完全な短いテキストを、Wikipediaのページに正確かつ効率的にアノテートする課題に対処すること。
• 長文向けに最適化された従来のシステムは、短い入力では計算コストが高く、性能が低いという限界を克服すること。
• 事前処理を必要とせず、リアルタイムアプリケーション（検索エンジンやソーシャルメディアプラットフォームなど）に適した、オンザフライでのアノテーションを実現すること。
• 短いテキストでは文脈や統計的信号が限られるにもかかわらず、エンティティリンキングの精度と再現率を高めること。
• 生産環境での高スループット要件に耐えうる、スケーラブルでメモリ使用量が少ないシステムを実現すること。

提案手法

• Wikipediaのアンカーテキストをアノテートすべき候補となるスパン（スポット）とし、それに対応するWikipediaページを潜在的な意味（センス）として扱う。
• スコアの整合性を最大化するグローバル最適化問題としてアノテーションタスクを定式化し、インリンクの重複と統計的特徴を組み合わせたスコア関数を用いる。
• Wikipediaページ間のインリンク重複に基づく、多義語や同義語を効率的に解消する高速かつ近似可能なスコア関数を導入する。
• 長文処理においてスライディングウィンドウ（サイズ w ≈ 10）を適用し、スコアの逐次計算を可能にすることで、時間計算量を O(L × w × s²) に低減し、アノテーション数に対して線形スケーリングを達成する。
• 2段階のパイプラインを実装する：(1) アンカー解析による候補スパンの抽出、(2) スコア関数を用いたアンビグアーション解決とスプライニング。
• Milne & Wittenの手法など、先行研究とは異なり、大規模なメモリキャッシュを避けることで、200MBの内部メモリ使用量と高い処理速度を実現する。

実験結果

リサーチクエスチョン

• RQ1 文脈が限られる短いテキストでは、従来の統計的信号が弱いため、Wikipediaページへのアノテーションで高い正確性と再現率を達成できるか？
• RQ2 同じアンカーに対して複数のWikipediaページが対応する短いテキストにおいて、多義語や同義語を効率的に解消する方法は何か？
• RQ3 オンザフライアノテーションの時間計算量は何か？長文においてアノテーション数に対して線形にできるか？
• RQ4 提案手法は、[10] や [14] といった最先端のシステムと比較して、短いテキストおよび長いテキストの両方で優れたパフォーマンスを示すか？
• RQ5 検索エンジンやソーシャルメディアプラットフォームのようなリアルタイム環境において、低メモリ使用量と低レイテンシでデプロイ可能か？

主な発見

• Tagmeは短いテキストにおいて、先行研究を上回るF-measureを達成し、[10] や [14] と比較して精度と速度の両面で優れている。
• 約10個のアンカーを含む短いテキストでは、Tagmeは1テキストあたり約18msで処理され、1アンカーあたり1.7msである。これは、[14] で報告された1テキストあたり95msよりも10倍以上高速である。
• 長文に適用した場合、Tagmeはアノテーション数に対して線形にスケーリング（O(L × w × s²)）されるが、[10] はわずかに2次関数的（弱い2次関数的）にスケーリングするため、Tagmeははるかにスケーラブルである。
• Tagmeは内部メモリをわずか200MBで使用するが、[14] のキャッシュ版は1.4GBを必要とし、バッチ処理中にヒープオーバーフローの問題を回避している。
• iitbデータセットからの手動アノテーション付きニュースなど、多様なデータセットにおいても、高い正確性と再現率を維持しており、実世界の環境における頑健性を確認している。
• ユーザースタディおよび大規模なWikipediaベースのデータセットでのパフォーマンスから、Tagmeの性能は合成ベンチマークを超えて、実世界の応用にうまく一般化されていることが示唆される。