[論文レビュー] OpenKI: Integrating Open Information Extraction and Knowledge Bases with Relation Inference

Dongxu Zhang, Subhabrata Mukherjee+3 more|arXiv (Cornell University)|Apr 12, 2019

Semantic Web and Ontologies参考文献 29被引用数 10

ひとこと要約

OpenKIは、OpenIEと知識ベース（KB）を統合する共同モデルを提案する。両者からのエンティティの近傍埋め込みを活用することで関係推論を向上させる。エンティティの近傍におけるアテンション機構を用い、エンティティ固有のパラメータを用いずに関係を推論する。OpenIE-to-KBの整合性タスクにおいて、SOTAを33.5%上回る平均MAPを達成する。

ABSTRACT

In this paper, we consider advancing web-scale knowledge extraction and alignment by integrating OpenIE extractions in the form of (subject, predicate, object) triples with Knowledge Bases (KB). Traditional techniques from universal schema and from schema mapping fall in two extremes: either they perform instance-level inference relying on embedding for (subject, object) pairs, thus cannot handle pairs absent in any existing triples; or they perform predicate-level mapping and completely ignore background evidence from individual entities, thus cannot achieve satisfying quality. We propose OpenKI to handle sparsity of OpenIE extractions by performing instance-level inference: for each entity, we encode the rich information in its neighborhood in both KB and OpenIE extractions, and leverage this information in relation inference by exploring different methods of aggregation and attention. In order to handle unseen entities, our model is designed without creating entity-specific parameters. Extensive experiments show that this method not only significantly improves state-of-the-art for conventional OpenIE extractions like ReVerb, but also boosts the performance on OpenIE from semi-structured data, where new entity pairs are abundant and data are fairly sparse.

研究の動機と目的

• 関係が整合されておらず、しばしば重複する構造的知識ベース（KB）に対して、OpenIEから抽出された（主語, 述語, 宾語）トリプルを整列させる課題に対処する。
• 従来の手法の限界を克服する：述語レベルのスキーママッピングはエンティティ固有の文脈を無視するが、インスタンスレベルの推論はエンティティ固有のパラメータにより未学習エンティティでは失敗する。
• 特に、新しいエンティティペアが多数存在する準構造的データにおいて、リソースが限られたスパースなOpenIE環境下で関係推論のパフォーマンスを向上させる。
• エンティティ固有のパラメータを学習しないことで、エンティティの近傍からの豊富な文脈信号を活用しつつ、未学習エンティティへの一般化を実現する。
• KBとOpenIEからのグラフ構造的情報を用いて、ソフトで微細な制約を学習する、スケーラブルでエンドツーエンドのモデルを設計する。

提案手法

• KBとOpenIE抽出結果からの関係信号を集約することで、各エンティティの周辺構造を捉えるエンティティ近傍埋め込みを構築する。
• 関係推論中に、近傍の関係や述語の重要性を動的に重みづけるアテンション機構を用い、文脈に応じた推論を可能にする。
• エンティティ近傍埋め込みと関係レベルの予測を組み合わせる共同推論モデルを設計し、エンティティごとのパラメータを学習せずにインダクティブバイアスを導入する。
• パフォーマンス最適化のため、近傍特徴に対して異なる集約戦略（例：平均、最大値、アテンションベース）を適用する。
• テキスト的・構造的信号を活用して、OpenIEの述語をKBの関係に一致させる微分可能な損失関数を用いて、エンドツーエンドでモデルを学習する。
• エンティティ固有の埋め込みやパラメータに依存せず、近傍埋め込みのみに依存することで、未学習エンティティに対するインダクティブバイアスを確保する。

実験結果

リサーチクエスチョン

• RQ1 KBとOpenIE抽出結果からの豊富なマルチソース信号を活用することで、OpenIE-to-KBの関係整列を向上させられるか？
• RQ2 エンティティ固有のパラメータを導入せずに、未学習エンティティに対するゼロショット推論を可能にするために、エンティティ固有の文脈を効果的にモデル化できるか？
• RQ3 KBとOpenIEからの近傍埋め込みは、述語レベルまたはインスタンスレベルのベースラインと比較して、どの程度関係推論の正確性を向上させるか？
• RQ4 スパースなOpenIE環境下では、単純な集約手法と比較して、エンティティ近傍におけるアテンション機構が関係パターンをよりよく捉えられるか？
• RQ5 両方のソースからの構造的グラフ情報の統合は、述語間のテキスト的・意味的類似性に依存する手法よりも顕著に優れた性能を示すか？

主な発見

• OpenKIは、複数のデータセットにおいて、SOTAベースラインを平均33.5%上回るMean Average Precision（MAP）を達成し、優れた一般化性能と頑健性を示した。
• ReVerbベースのOpenIEベースラインを著しく上回り、新しいエンティティペアが頻繁に出現する準構造的データソースにおいても顕著な向上を示した。
• テキストエンコーダーを一切使用しない状態でも、エンティティ近傍埋め込みそのものが強力なパフォーマンスを発揮しており、関係推論における構造的グラフ信号の重要性を強調している。
• アブレーションスタディの結果、近傍集約とアテンション機構が重要な構成要素であることが確認され、アテンションベースの集約が単純な平均値または最大値プーリングを上回った。
• エンティティ固有のパラメータを学習しないことで、未学習エンティティへの一般化が効果的に実現されており、近傍関係から導出される文脈的埋め込みに依存している。
• 本手法はスケーラブルでドメインに依存せず、手動で特徴を設計する必要がなく、最小限のチューニングで済む。エンドツーエンドで自己教師あり学習により関係信号を学習するためである。