[論文レビュー] Entity Context Graph: Learning Entity Representations fromSemi-Structured Textual Sources on the Web

Kalpa Gunaratna, Yu Wang+1 more|arXiv (Cornell University)|Mar 29, 2021

Topic Modeling参考文献 39被引用数 5

ひとこと要約

本稿では、事前に構築された知識グラフに依存せずに、Wikipedia や製品カタログなどの準構造化テキストソースから直接、高品質なエンティティ埋め込みを学習するためのエンティティコンテキストグラフ（ECG）を提案する。コンテキストトリプル（自然言語による記述で結ばれたエンティティペア）を抽出することで、単純で自動的かつスケーラブルな埋め込み学習が可能となり、知識グラフベースおよび文脈的言語モデルベースの手法を凌駕または同等の性能を発揮する。特に、知識グラフデータと共同で微調整された場合に顕著な効果を示す。

ABSTRACT

Knowledge is captured in the form of entities and their relationships and stored in knowledge graphs. Knowledge graphs enhance the capabilities of applications in many different areas including Web search, recommendation, and natural language understanding. This is mainly because, entities enable machines to understand things that go beyond simple tokens. Many modern algorithms use learned entity embeddings from these structured representations. However, building a knowledge graph takes time and effort, hence very costly and nontrivial. On the other hand, many Web sources describe entities in some structured format and therefore, finding ways to get them into useful entity knowledge is advantageous. We propose an approach that processes entity centric textual knowledge sources to learn entity embeddings and in turn avoids the need for a traditional knowledge graph. We first extract triples into the new representation format that does not use traditional complex triple extraction methods defined by pre-determined relationship labels. Then we learn entity embeddings through this new type of triples. We show that the embeddings learned from our approach are: (i) high quality and comparable to a known knowledge graph-based embeddings and can be used to improve them further, (ii) better than a contextual language model-based entity embeddings, and (iii) easy to compute and versatile in domain-specific applications where a knowledge graph is not readily available

研究の動機と目的

• 事前に構築された高コストの知識グラフを必要としない、スケーラブルで自動化されたエンティティ埋め込み学習手法の開発。
• 従来の知識グラフにおけるトリプル抽出の限界、すなわち厳密なスキーマ、事前に定義された関係、手作業によるメンテナンスの問題を解決すること。
• エンティティを結ぶ自然言語記述（コンテキストトリプル）が、表現学習のための代替的で柔軟な選択肢として有効であることを示すこと。
• ECGベースの埋め込みが、最先端の知識グラフベースおよび文脈的言語モデルベースの埋め込みと同等の性能を発揮することを示すこと。
• 構造化された知識グラフが存在しない、あるいは実用的でない分野において、分野特化型・応用指向のエンティティ表現学習を可能にすること。

提案手法

• Wikipediaのインフォボックスや製品ページなどの準構造化ソースから、エンティティペアとその自然言語的関係記述を抽出し、コンテキストトリプルを構成する。
• 関係を固定ラベルとして扱うのでなく、生のテキストフレーズ（例：「生まれた場所は」）として表現することで、関係的コンテキストの動的エンコードを可能にする。
• ノードをエンティティ、エッジを記述ラベル付きのコンテキストトリプルとする異種グラフとしてエンティティコンテキストグラフ（ECG）を構築する。
• ECG上でグラフニューラルネットワークや同様の表現学習フレームワークを用いてエンティティ埋め込みを学習し、テキスト的関係を処理する動的関係エンコーダーを導入する。
• ECG埋め込みと既存のKGトリプルを共同で微調整することで、データソース間のアライメントを必要とせずに全体の埋め込み品質を向上させる。
• DBpedia Spotlight やアスペクトマイニングなどの汎用ツールを用いてエンティティリンクと曖昧さ解消を実施し、分野に依存しないECG構築を可能にする。

実験結果

リサーチクエスチョン

• RQ1 準構造化テキストソースにおけるコンテキストトリプルから学習したエンティティ埋め込みは、形式的な知識グラフから学習したものと同等の品質に達するか？
• RQ2 ECGベースの埋め込み学習は、文脈的言語モデル（例：ERNIE）と比較してエンティティ表現学習においてどのように性能を発揮するか？
• RQ3 マルチソース学習設定において、ECGとKG埋め込みを併用することで、既存のKGベースの埋め込みが向上するか？
• RQ4 Wikipedia や製品レビューなどの多様で現実世界のデータソースにおいて、ECG構築パイプラインの耐障害性とスケーラビリティはどの程度か？
• RQ5 構造化された知識グラフが利用できない状況において、ECGがどの程度分野特化型の応用を支援できるか？

主な発見

• ECGベースのエンティティ埋め込みは、標準ベンチマークにおいて、最先端の知識グラフベース表現学習手法と同等の性能を達成した。
• 同じWikipediaコーパス上で学習した場合、ECG法は文脈的言語モデルベース手法（ERNIE）を上回り、グラフ構造的コンテキストの利点を示した。
• ECG法はFB15kでHits@10が70%、Amazonレビューで67%を達成し、トップk予測性能が優れていることを示した。
• ECGとKG埋め込みの共同学習により、KGベースの埋め込み品質が向上し、両者から得られる相乗効果を実証した。
• ECGフレームワークは非常に多様性に富み、ニュース記事や製品カタログなど、さまざまな準構造化ソースに最小限のカスタマイズで適用可能であった。
• 本手法は計算的にも効率的で、完全に自動化されており、従来の知識グラフ構築で一般的な高コストかつ複雑なトリプル抽出パイプラインを回避した。