[論文レビュー] RESLVE: Leveraging User Interest to Improve Entity Disambiguation on Short Text

Elizabeth L. Murnane, Bernhard Haslhofer+1 more|arXiv (Cornell University)|Apr 8, 2013

Topic Modeling参考文献 29被引用数 5

ひとこと要約

RESLVEは、Wikipediaを知識ベースとして利用し、ユーザーの関心をモデル化することで、短いソーシャルメディア投稿における名前付きエンティティの意味あいまい性解消（NED）を向上させる、ユーザー関心中心のアプローチを提案する。ユーザー固有のコンテンツ寄与を活用して、トピックの重なりに基づきエンティティ候補をランク付けし、Twitter や YouTube、Flickr などの低文脈環境において、従来の手法に比べて顕著な精度向上を達成し、最大で46%のF1スコアを記録した。

ABSTRACT

We address the Named Entity Disambiguation (NED) problem for short, user-generated texts on the social Web. In such settings, the lack of linguistic features and sparse lexical context result in a high degree of ambiguity and sharp performance drops of nearly 50% in the accuracy of conventional NED systems. We handle these challenges by developing a model of user-interest with respect to a personal knowledge context; and Wikipedia, a particularly well-established and reliable knowledge base, is used to instantiate the procedure. We conduct systematic evaluations using individuals' posts from Twitter, YouTube, and Flickr and demonstrate that our novel technique is able to achieve substantial performance gains beyond state-of-the-art NED methods.

研究の動機と目的

• 短いユーザー生成コンテンツにおける高いあいまい性に対処すること。特に、語彙的文脈が乏しいため、従来のNED手法が機能しない状況を想定する。
• Wikipediaからの構造的セマンティックデータを用いて、ユーザーの関心を個人化された知識コンテキストとしてモデル化すること。
• ユーザー関心の重なりに基づき、文脈的に最も関連性の高いエンティティの意味を特定するランク付け手法を開発すること。
• Twitter、YouTube、Flickr からの実世界データを用いて、本手法の評価を行い、最先端のNEDシステムに比べた性能向上を示すこと。
• 再現可能性および今後の研究を支援するため、公開可能なアノテート済みデータセットとシステム実装を提供すること。

提案手法

• 複数のプラットフォームにおけるユーザーのユーザ名に関連するWikipedia編集履歴と記事内容を分析することで、ユーザー関心モデルを構築する。
• Wikipedia Miner および DBPedia Spotlight を用いて、短いテキストからエンティティと候補意味を抽出する。
• 編集頻度とコンテンツの重なりを用いてトピックの関連性を重みづけ、Wikipediaのカテゴリ上でのトピック分布としてユーザー関心を表現する。
• ユーザーの関心モデルと各候補エンティティのトピック分布との間でコサイン類似度を計算し、候補エンティティをランク付けする。
• Wikipedia寄与が少ないユーザーまたは重なりが薄いユーザーに対応するため、正規化およびしきい値処理戦略を適用する。
• ソーシャルメディアとWikipedia間のユーザ名マッチングによるアイデンティティ解決を統合し、マッチしない、またはアカウントが欠落している場合のフォールバック処理を実装する。

実験結果

リサーチクエスチョン

• RQ1 Wikipedia寄与から導出されるユーザー固有の関心プロファイルは、短いソーシャルメディア投稿におけるエンティティの意味あいまい性解消を改善できるか？
• RQ2 RESLVEの性能は、低文脈的でユーザー生成コンテンツに特化した最先端のNEDシステムと比較してどうなるか？
• RQ3 ユーザーIDマッピングにおける主な誤り要因は何か？ そしてそれらは意味あいまい性解消の精度にどのように影響するか？
• RQ4 ユーザーがWikipediaに寄与する量と質が、システムの性能にどの程度依存しているか？
• RQ5 直接的な寄与が欠落している場合、他のユーザーのソーシャルコネクションの寄与を共同フィルタリングで活用することで、ユーザー関心を効果的に近似できるか？

主な発見

• RESLVEはTwitterデータで46%を超えるF1スコアを達成し、同データセットでスタンフォードNERが46%未満に低下するのとは対照的に顕著な改善を示した。
• YouTube や Flickr においても、語彙的文脈がさらに乏しい環境であるにもかかわらず、顕著な性能向上を示し、極めてあいまいな短いテキスト環境における有効性を確認した。
• Wikipedia寄与が少ないユーザーでは性能が著しく低下し、知識ベースにおけるユーザー生成コンテンツの量に依存していることが明らかになった。
• ユーザ名マッチングにおける誤検出（同じユーザ名だが異なるユーザー）と誤検出（同一人物だが異なるユーザ名）が主な誤り要因であり、特にアイデンティティ解決に悪影響を及えた。
• ローカルな語彙的特徴に依存する従来のNED手法とは異なり、本手法はローカルな語彙的特徴が欠落または信頼性が低い短いテキストにおいても、個人の文脈を活用することで優れた性能を発揮した。
• 公開されたデータセットと実装により、再現性が確保され、今後の個人化されたエンティティの意味あいまい性解消に関する研究を支援できる。