[論文レビュー] Knowledge Graph Embedding with Iterative Guidance from Soft Rules

Shu Guo, Quan Wang+3 more|arXiv (Cornell University)|Nov 30, 2017

Advanced Graph Neural Networks参考文献 39被引用数 23

ひとこと要約

本稿では、観測された三項対、未ラベル付き三項対の予測ラベル、および信頼度が異なる自動抽出されたソフトルールを統合して、反復的にエンティティおよび関係の表現を精緻化する知識グラフ埋め込みフレームワークRUGEを提案する。本手法は、埋め込み学習とルール誘導型推論の間で反復的フィードバックを活用することで、FreebaseおよびYAGOにおけるリンク予測で最先端の性能を達成する。

ABSTRACT

Embedding knowledge graphs (KGs) into continuous vector spaces is a focus of current research. Combining such an embedding model with logic rules has recently attracted increasing attention. Most previous attempts made a one-time injection of logic rules, ignoring the interactive nature between embedding learning and logical inference. And they focused only on hard rules, which always hold with no exception and usually require extensive manual effort to create or validate. In this paper, we propose Rule-Guided Embedding (RUGE), a novel paradigm of KG embedding with iterative guidance from soft rules. RUGE enables an embedding model to learn simultaneously from 1) labeled triples that have been directly observed in a given KG, 2) unlabeled triples whose labels are going to be predicted iteratively, and 3) soft rules with various confidence levels extracted automatically from the KG. In the learning process, RUGE iteratively queries rules to obtain soft labels for unlabeled triples, and integrates such newly labeled triples to update the embedding model. Through this iterative procedure, knowledge embodied in logic rules may be better transferred into the learned embeddings. We evaluate RUGE in link prediction on Freebase and YAGO. Experimental results show that: 1) with rule knowledge injected iteratively, RUGE achieves significant and consistent improvements over state-of-the-art baselines; and 2) despite their uncertainties, automatically extracted soft rules are highly beneficial to KG embedding, even those with moderate confidence levels. The code and data used for this paper can be obtained from https://github.com/iieir-km/RUGE.

研究の動機と目的

• 一回のルールインジェクションでは、埋め込みモデルと論理的ルールの間の相互作用的フィードバックを十分に活用できないという限界を解消すること。
• 例外のないハードルールに依存するのではなく、不確実性や信頼度を伴うソフトルールの有効性を検討すること。
• 未ラベル付き三項対のソフトラベルを交互に予測し、ラベル付き三項対とルール情報に基づく予測を併用して埋め込みを更新する統合学習フレームワークを設計すること。
• 反復的に使用された中程度の信頼度を持つソフトルールですら、埋め込み品質を顕著に向上させられることを実証的に検証すること。
• 知識グラフ埋め込みにおける反復的ルール統合が、リンク予測タスクにおいて最先端のベースラインを常にかつ顕著に上回る一貫した改善をもたらすことを示すこと。

提案手法

• RUGEは各イテレーションで二段階のステージを繰り返す：(1) 現在の埋め込みと抽出されたソフトルールを用いたソフトラベル予測、(2) ラベル付き三項対とルール予測に基づく未ラベル付き三項対の両方を最適化対象として埋め込みの補正。
• ソフトルールは、ルールマイニング技術を用いて知識グラフから自動抽出され、その信頼性を反映した信頼度スコアが付与される。
• モデルは、ソフトラベルを確率的監視として扱うことで、最適化過程でルール予測の不確実性を保持するように統合する。
• 埋め込み学習は、観測された三項対とルールによる推論ラベルの両方からの監視を組み合わせた微分可能な損失関数を用いて実行され、勾配降下法によるエンドツーエンド学習が可能になる。
• ComplEx、PTransE、KALEなどの既存の知識グラフ埋め込みモデルと互換性があり、さまざまなアーキテクチャに統合可能である。
• ルール信頼度のしきい値は、有用だが不確実なルールとノイズの多いルールのバランスを取るために調整され、FB15Kでは0.8で最適な性能が得られた。

実験結果

リサーチクエスチョン

• RQ1 一回のルールインジェクションを超えて、ソフトルールの反復的統合が知識グラフ埋め込みの性能向上に寄与するか？
• RQ2 特に中程度の信頼度を持つ自動抽出ソフトルールは、例外のないハードルールに比べて、埋め込み品質の向上にどの程度有効か？
• RQ3 埋め込み予測とルールベースラベル精緻化のフィードバックループは、さまざまな知識グラフにおいて一貫した性能向上をもたらすか？
• RQ4 ルール信頼度のしきい値は、最終的な埋め込み品質とモデルの頑健性にどのような影響を及ぼすか？
• RQ5 RUGEの計算コストは、既存のルールインジェクション済みおよびベースライン埋め込みモデルと比較してどの程度か？

主な発見

• ComplEx（最良のベースライン）と比較して、FB15KではMRRが11%相対的に向上し、HITS@1は18%向上した。
• YAGO37では、ComplExと比較してMRRが3%、HITS@1が6%向上し、データセットをまたいで一貫した向上が確認された。
• 信頼度が0.35ですらも、依然として顕著な性能向上をもたらすため、ルールの不確実性がその有用性を妨げるものではない。
• FB15Kでは最適なルール信頼度しきい値が0.8であり、性能がピークに達する。しきい値を下げるとうっかりノイズが混入し、高くするとルールカバレッジが減少する。
• RUGEの1イテレーションあたりの学習時間は、FB15Kでは11.4秒から14.1秒へ、YAGO37では49.5秒から55.2秒へとわずかに増加するにとどまり、ルール誘導型監視を統合しても計算コストはほとんど上昇しない。
• 前処理ステップ（ルール/パス抽出および命題化）は効率的であり、特にYAGO37ではPTransEのアプローチよりもはるかに短時間で完了する。