[論文レビュー] Mapping Text to Knowledge Graph Entities using Multi-Sense LSTMs

Dimitri Kartsaklis, Mohammad Taher Pilehvar+1 more|arXiv (Cornell University)|Jan 1, 2018

Topic Modeling参考文献 38被引用数 5

ひとこと要約

本稿では、知識グラフ埋め込みにテキスト特徴を組み合わせた連続的ベクタ空間を用いて、自然言語テキストを知識グラフエンティティにマッピングするマルチセンスLSTM（MS-LSTM）モデルを提案する。モデルは単語埋め込みの動的センス分類を用い、ランダムウォークにテキストノードを統合することで意味的整合性を向上させ、テキストからエンティティへのマッピング、リバース辞書、ドキュメント分類の各タスクで最先端の性能を達成した。

ABSTRACT

This paper addresses the problem of mapping natural language text to knowledge base entities. The mapping process is approached as a composition of a phrase or a sentence into a point in a multi-dimensional entity space obtained from a knowledge graph. The compositional model is an LSTM equipped with a dynamic disambiguation mechanism on the input word embeddings (a Multi-Sense LSTM), addressing polysemy issues. Further, the knowledge base space is prepared by collecting random walks from a graph enhanced with textual features, which act as a set of semantic bridges between text and knowledge base entities. The ideas of this work are demonstrated on large-scale text-to-entity mapping and entity classification tasks, with state of the art results.

研究の動機と目的

• 語彙的曖昧さや多義語の存在下でも、自然言語テキストを知識ベースのエンティティにマッピングする課題に対処すること。
• エンティティのテキスト特徴を統合したグラフベースのランダムウォークを用いて、知識ベースエンティティの連続的ベクタ空間を構築し、テキストからエンティティへの整合性を向上させること。
• シーケンス符号化中に動的に語の意味を分類できるニューラルコンポジショナルモデルを開発すること。
• 本手法の有効性を大規模なテキストからエンティティへのマッピング、リバース辞書、ドキュメント分類タスクにおいて示すこと。

提案手法

• 多義語を適切に処理するために文脈に応じた語の意味埋め込みを選択する動的センス分類を備えた、変更を加えた長短期記憶（LSTM）ネットワーク、すなわちマルチセンスLSTM（MS-LSTM）を用いる。
• 知識ベースエンティティは、エンティティと関連するテキスト特徴ノード（例：エンティティと強く関連する語）を含む拡張されたグラフ上でランダムウォークを用いて連続的ベクタ空間に埋め込まれる。
• エンティティノードとテキストノードの間の移動バランスを最適化する新しいサンプリング戦略により、テキストとKB間の意味的ブリッジングを向上させる。
• トレーニング中に文脈に基づいて各語の適切な意味ベクトルを選択・更新するセンスに配慮したアテンションメカニズムを採用する。
• モデルは語のベクトルを合成して、フレーズや文の意味を表す1つのエンティティ空間内の点を学習する。
• エンティティ空間は、拡張されたランダムウォーク上で学習されたスキップグラムモデルを用いて構築され、分布的意味論がテキストと知識グラフ表現の間を橋渡しする。

実験結果

リサーチクエスチョン

• RQ1 動的センス分類を備えたニューラルシーケンスモデルは、多義語の存在下でもテキストからエンティティへのマッピングを改善できるか？
• RQ2 エンティティと強く関連する語（テキスト特徴）を知識グラフのランダムウォークに統合することで、意味的整合性がどの程度向上するか？
• RQ3 グラフウォークから導出される連続的分布的エンティティ空間は、従来のヒューリスティック法やスパース法に比べ、テキストからエンティティへのマッピングで優れた性能を示すか？
• RQ4 ランダムウォークにおけるエンティティノードとテキストノードの訪問頻度のバランスが、さまざまなNLPタスクのパフォーマンスにどのように影響するか？
• RQ5 提案手法は、直接的なマッピングを越えて、ドキュメント分類やリバース辞書タスクなど、他のタスクにも一般化可能か？

主な発見

• 提案されたMS-LSTMモデルは、SNOMED CTを基盤とするテキストからエンティティへのマッピングタスクで、先行手法を上回る最先端の性能を達成した。
• WordNetを用いたリバース辞書タスクにおいて、トップ1正解率が78.3%、トップ3正解率が92.1%に達し、以前の最先端手法を上回った。
• Coraデータセットを用いたドキュメント分類タスクでは、マクロ-F1スコアが86.7%に達し、エンティティリンク以外のタスクに対しても強い一般化性能を示した。
• テキスト特徴をランダムウォークに統合することで、特に直接的なテキストからエンティティへの整合性タスクで顕著な性能向上が見られた。
• MS-LSTMに組み込まれた動的分類機構は、単一意味のLSTMベースラインに比べて一貫した改善をもたらし、多義語の処理において特に顕著であった。
• ドキュメント分類の最適なパフォーマンスを得るには、バランスの取れたランダムウォーク戦略（λ ≈ 0.5–0.75）が必要であり、過剰なテキスト特徴はトポロジーの破壊によってノイズを引き起こす可能性があることが示された。