[論文レビュー] Modeling Named Entity Embedding Distribution into Hypersphere

Zhuosheng Zhang, Bingjie Tang+2 more|arXiv (Cornell University)|Sep 3, 2019

Topic Modeling参考文献 28被引用数 4

ひとこと要約

本稿では、事前学習された単語埋め込み空間内でのハイパースフィアに集約された点として命名エンティティ（NE）を新しいオープン定義として提案する。幾何的構造を活用することで、多言語間のNE転送を可能とし、文脈依存型NERを向上させる。埋め込み空間間の変換行列をWasserstein GANを用いて学習することで、アノテート済みデータやNE辞書を除き、事前学習された埋め込み以外に追加データを必要としない状態の最良性能を達成する。

ABSTRACT

This work models named entity distribution from a way of visualizing topological structure of embedding space, so that we make an assumption that most, if not all, named entities (NEs) for a language tend to aggregate together to be accommodated by a specific hypersphere in embedding space. Thus we present a novel open definition for NE which alleviates the obvious drawback in previous closed NE definition with a limited NE dictionary. Then, we show two applications with introducing the proposed named entity hypersphere model. First, using a generative adversarial neural network to learn a transformation matrix of two embedding spaces, which results in a convenient determination of named entity distribution in the target language, indicating the potential of fast named entity discovery only using isomorphic relation between embedding spaces. Second, the named entity hypersphere model is directly integrated with various named entity recognition models over sentences to achieve state-of-the-art results. Only assuming that embeddings are available, we show a prior knowledge free approach on effective named entity distribution depiction.

研究の動機と目的

• 常に新規エンティティが出現するため、閉形式の辞書ベースのNE定義が陳腐化してしまうという限界を是正すること。
• 多言語埋め込み空間内での命名エンティティ分布を、特にハイパースフィアとして幾何的構造としてモデル化することで、オープンボキャブラリー型NE認識を可能とすること。
• 並列コーパスやアノテート済みデータを一切使用せずに、埋め込み空間間の同型関係を用いて多言語間の命名エンティティマッピングを可能とすること。
• 汎用的なNEハイパースフィアを知識ガイドド信号として統合することで、文脈依存型NERを向上させること。

提案手法

• 多言語単語埋め込み空間内でのNE分布を可視化し、同じタイプの命名エンティティ（例：人物、場所、組織）が埋め込み空間内でハイパースフィア的領域に凝集していることを観察する。
• NE分布の幾何的表現としてハイパースフィアモデルを提案し、言語ごとのNE集合を埋め込み空間内でのハイパースフィアとして扱う。
• 2言語の埋め込み空間間の変換行列をWasserstein生成的対抗ネットワーク（WGAN）を用いて学習し、言語間でのNEハイパースフィアのマッピングを可能にする。
• 既存のNERモデルにハイパースフィアガイドド損失関数や注意機構を追加することで、NEハイパースフィアを事前知識の手がかりとして統合する。
• 並列コーパスを必要とせず、ソース言語とターゲット言語の埋め込み空間間の同型関係を用いて変換行列を学習する。
• 事前学習済み埋め込みのみを用い、追加のアノテート済みデータを一切使用せずに、ゼロショット多言語NE転送と文脈認識型NERの両方へハイパースフィアモデルを適用する。

実験結果

リサーチクエスチョン

• RQ1 事前学習された単語埋め込み空間内において、同じタイプの命名エンティティ（例：人物、場所、組織）がハイパースフィア的分布として効果的にモデル化可能か？
• RQ2 1つの言語におけるNEの幾何的構造を、埋め込み空間のアライメントのみを用いて別の言語に転送可能か？
• RQ3 ハイパースフィアベースのNE事前知識を統合することで、文脈依存型NERモデルの性能が向上するか？
• RQ4 本手法は、アノテート済み学習データやNE辞書に依存せずに、NERで最先端の結果を達成可能か？

主な発見

• 本稿では、複数の言語において、同じタイプ（例：人物、場所、組織）の命名エンティティが、事前学習された単語埋め込み空間内で明確でコンパクトなハイパースフィア的クラスタを形成することを実証的に示している。
• 提案されたWGANベースの変換行列により、言語間でのNEハイパースフィアの正確なマッピングが可能となり、並列コーパスを一切使用せずに効果的な多言語NE発見が達成された。
• NEハイパースフィアをガイドとして統合することで、複数のNERモデルにおける性能が向上し、BiLSTM-CRFベースラインに比べてMSRA中国語NERデータセットでF1スコアが1.05%向上した。
• 本手法は、英語および中国語のNERベンチマークにおいて、追加のアノテート済みデータや手作業で作成された特徴量を必要とせず、先行モデルを上回る最先端の結果を達成した。
• ハイパースフィアモデルは、事前知識フリーで汎用的なNE辞書として機能し、言語やモデルを問わずNER性能を向上させる。