[論文レビュー] Toward Socially-Infused Information Extraction: Embedding Authors, Mentions, and Entities

Yi Yang, Ming‐Wei Chang+1 more|arXiv (Cornell University)|Sep 26, 2016

Topic Modeling参考文献 30被引用数 4

ひとこと要約

本稿では、エンティティの同定を改善するため、著者、メンション、エンティティを共有のベクトル空間に統合的に埋め込むことで、エンティティの同型性の原則に従ってソーシャルネットワーク構造を活用するニューラル構造予測モデルNtelを提案する。順方向のニューラルネットワークと損失補正デコードを用い、分散表現としての社会的つながり、メンションの意味的特徴、エンティティの知識を統合することで、ベンチマークデータセット上で先行する最先端手法に比べ平均F1スコアで3%の向上を達成した。

ABSTRACT

Entity linking is the task of identifying mentions of entities in text, and linking them to entries in a knowledge base. This task is especially difficult in microblogs, as there is little additional text to provide disambiguating context; rather, authors rely on an implicit common ground of shared knowledge with their readers. In this paper, we attempt to capture some of this implicit context by exploiting the social network structure in microblogs. We build on the theory of homophily, which implies that socially linked individuals share interests, and are therefore likely to mention the same sorts of entities. We implement this idea by encoding authors, mentions, and entities in a continuous vector space, which is constructed so that socially-connected authors have similar vector representations. These vectors are incorporated into a neural structured prediction model, which captures structural constraints that are inherent in the entity linking task. Together, these design decisions yield F1 improvements of 1%-5% on benchmark datasets, as compared to the previous state-of-the-art.

研究の動機と目的

• 文脈的手がかりが限られる短い、ノイズの多いマイクロブログテキストにおけるエンティティの曖昧性解消の課題に対処すること。
• エンティティリンクのための暗黙的な文脈的情報としてのソーシャルネットワーク構造を活用すること。
• 社会的に接続されたユーザーが類似したエンティティに関心を寄せるという同型性の原則を、ニューラル構造予測フレームワーク内でモデル化すること。
• 著者、メンション、エンティティの分散表現と表面特徴をニューラル合成により統合することで、性能向上を図ること。
• 動的計画法を用いた構造的推論メカニズムを構築し、シーケンス全体で重複するメンション予測を回避すること。

提案手法

• 本モデルは、フォロワー、メンション、リツイートのリンクを含むソーシャルネットワーク上で、グラフベースの埋め込み手法を用いて著者、メンション、エンティティの低次元ベクトル表現を学習する。
• これらの表現をニューラルネットワークを介して合成することで、著者、メンション、エンティティの埋め込み間の相互作用をモデル化し、曖昧性解消のための社会的文脈を捉える。
• 知識ベースから抽出した表面特徴（例：エンティティの人気度、Wikipediaの閲覧数）を非線形的に組み合わせるため、順方向のニューラルネットワークを用いる。
• 非重複するメンション予測を保証するために、動的計画法を用いて構造的予測を実行する。
• F1スコアの最適化を図るため、構造予測のための大マージン学習技術である損失補正デコードを用いてモデルを学習する。
• 最終的なシステムNtelは、すべてのモジュールをエンドツーエンドで学習可能なアーキテクチャに統合した、ツイートエンティティリンクのためのものである。

実験結果

リサーチクエスチョン

• RQ1 短いテキスト（例：ツイート）において表面的な文脈が限られる状況で、ソーシャルネットワーク構造がエンティティの更解に寄与するか。
• RQ2 社会的に接続されたユーザー間でエンティティの関心が同型的であることをモデル化することで、リンク精度がどの程度向上するか。
• RQ3 著者、メンション、エンティティの統合的埋め込みが、表面特徴を超えた曖昧性解消の文脈を捉えるのにどの程度有効か。
• RQ4 分散表現のニューラル合成が、従来の特徴ベースのモデルに比べ、ツイートエンティティリンクで優れた性能を発揮するか。
• RQ5 社会的文脈を統合することで、『Giants』や『Kim』のような曖昧なメンションの誤リンクがどの程度減少するか。

主な発見

• Ntelモデルは、2つのベンチマークデータセット（NEELとTACL）において、先行する最先端手法に比べ平均F1スコアで3%の向上を達成した。
• ユーザー・エンティティのコンポジションモデルは、『Sox』『Sanders』『Memphis』のような極めて曖昧なメンションの曖昧性解消を顕著に改善し、誤って不適切なエンティティにリンクされるのを減少させた。
• メンション・エンティティのコンポジションモデルは、表面特徴が誤って『sec』（例：南東部カンファレンス）のような非エンティティを人気のあるエンティティにリンクしてしまう誤りを是正した。
• ソーシャルネットワーク情報のおかげで、Wikipediaの閲覧数がより高いKim Kardashianではなく、Lil’ Kimに正しく更解された。
• 社会的つながりから得られる暗黙の共有知識を活用することで、文脈が乏しい状況下でもモデルの頑健性が保たれた。
• ソーシャル、メンション、エンティティの埋め込みの統合により、リコールが向上し、レアまたは曖昧なエンティティの取り扱いが改善された。