[論文レビュー] Automatic Synonym Discovery with Knowledge Bases

Meng Qu, Xiang Ren+1 more|arXiv (Cornell University)|Jun 25, 2017

Topic Modeling参考文献 30被引用数 13

ひとこと要約

本稿では、コーパス統計からの分布的特徴と局所的なテクストパターンを統合的に活用し、知識ベースのエンティティを意味の明確化されたクエリとして用いる、自動同義語発見のための新規フレームワークDPEを提案する。キュレートされた知識ベースの同義語からの遠隔教師付き学習を統合することにより、DPEは、1つの信号タイプに依存する手法よりも、同義語検出の精度を向上させる。

ABSTRACT

Recognizing entity synonyms from text has become a crucial task in many entity-leveraging applications. However, discovering entity synonyms from domain-specific text corpora (e.g., news articles, scientific papers) is rather challenging. Current systems take an entity name string as input to find out other names that are synonymous, ignoring the fact that often times a name string can refer to multiple entities (e.g., "apple" could refer to both Apple Inc and the fruit apple). Moreover, most existing methods require training data manually created by domain experts to construct supervised-learning systems. In this paper, we study the problem of automatic synonym discovery with knowledge bases, that is, identifying synonyms for knowledge base entities in a given domain-specific corpus. The manually-curated synonyms for each entity stored in a knowledge base not only form a set of name strings to disambiguate the meaning for each other, but also can serve as "distant" supervision to help determine important features for the task. We propose a novel framework, called DPE, to integrate two kinds of mutually-complementing signals for synonym discovery, i.e., distributional features based on corpus-level statistics and textual patterns based on local contexts. In particular, DPE jointly optimizes the two kinds of signals in conjunction with distant supervision, so that they can mutually enhance each other in the training stage. At the inference stage, both signals will be utilized to discover synonyms for the given entities. Experimental results prove the effectiveness of the proposed framework.

研究の動機と目的

• ドメイン固有のテキストコーパスにおける知識ベースエンティティの欠落した同義語を発見する課題に対処すること。
• 手動でキュレートされたトレーニングデータに依存する既存手法や、同義語検出における文字列の曖昧さに苦しむ手法の限界を克服すること。
• 同じ表層形が複数の意味を持つ場合の混乱を避けるために、知識ベースのエンティティを意味の明確化されたクエリとして活用すること。
• 分布的特徴と局所的なテクストパターンを、両者を統合的に最適化することで、同義語検出のパフォーマンスを向上させること。
• 人為的ラベル付きデータを最小限に抑えて効果的にモデルを学習できるように、知識ベースの同義語からの限られた遠隔教師付き学習を活用すること。

提案手法

• 意味の曖昧さを解消するため、知識ベースのエンティティをクエリエンティティとして使用する（例：人物か州かを区別する「ワシントン」）。
• ドメインコーパスにおける候補文字列の共起統計に基づいて分布的特徴を抽出する。
• 「別名として知られる」「一般的に呼ばれる」といった、同義語関係を表す局所的なテクストパターンを識別するためのパターン分類器を学習する。
• 知識ベースの同義語からの遠隔教師付き学習を用いて、分布的信号とパターンベース信号を統合的に最適化する。
• 既知の同義語同士の投票メカニズムを適用し、誤検出をフィルタリングして信頼性を向上させる。
• 両方の信号を統合した統一された埋め込みモデルを学習し、同義語予測のための意味的表現を向上させる。

実験結果

リサーチクエスチョン

• RQ1 知識ベースからの遠隔教師付き学習は、意味が複数あるエンティティ名の同義語検出における曖昧さを効果的に低減できるか？
• RQ2 分布的特徴と局所的なテクストパターンは、エンティティの同義語を特定するうえで、どのように補い合うか？
• RQ3 分布的信号とパターンベース信号を統合的に最適化することで、個別に処理する手法と比較して、同義語検出のパフォーマンスがどの程度向上するか？
• RQ4 提案されたフレームワークは、ラベル付きデータが限られた多様なドメイン固有コーパスに一般化可能か？
• RQ5 既知の同義語同士の投票メカニズムは、同義語検出の過程で誤検出を効果的にフィルタリングできるか？

主な発見

• DPEフレームワークは、分布的特徴のみまたはパターンベース特徴のみを用いるベースライン手法を著しく上回る性能を示した。
• 両信号を統合的に最適化することでF1スコアに顕著な改善が見られ、DPEはパターンを除いたDPE-NoPと比較して、より高い適合率と再現率を達成した。
• パターン分類器は、「別名として知られる」や「一般的に呼ばれる」といった意味のある高適合率のパターンを効果的に学習し、文脈における同義語関係を表現した。
• 知識ベースの同義語を遠隔教師付き学習の出発点として用いることで、限られたトレーニングデータでも効果的な学習が可能となり、人為的ラベル付きシードへの依存度が低下した。
• 既知の同義語同士の投票メカニズムは、RMB や WW I といった、パターンフィルタリングなしでは誤って同義語と誤認される事例を効果的にフィルタリングした。
• DPEで学習された埋め込みは、分布的信号とパターン信号の両方の監視により、標準的なテキスト埋め込みと比較して意味的相関をよりよく保持していた。