[論文レビュー] Probabilistic Knowledge Graph Construction: Compositional and Incremental Approaches

Dongwoo Kim, Lexing Xie+1 more|arXiv (Cornell University)|Aug 21, 2016

Advanced Graph Neural Networks参考文献 22被引用数 6

ひとこと要約

本稿では、構成的で経路に注意を払うモデルを用いて、インクリメンタルな知識抽出と知識補完を統合する確率的知識グラフ因子分解手法を提案する。双線形テンソル因子分解を確率的枠組みで定式化し、アクティブラーニングにスミスサンプリングを統合することで、探索と活用のバランスを図り、3つのベンチマークデータセットにおいて、抽出の累積的利益が向上し、経路構造を活用した補完タスクでの予測性能が向上した。

ABSTRACT

Knowledge graph construction consists of two tasks: extracting information from external resources (knowledge population) and inferring missing information through a statistical analysis on the extracted information (knowledge completion). In many cases, insufficient external resources in the knowledge population hinder the subsequent statistical inference. The gap between these two processes can be reduced by an incremental population approach. We propose a new probabilistic knowledge graph factorisation method that benefits from the path structure of existing knowledge (e.g. syllogism) and enables a common modelling approach to be used for both incremental population and knowledge completion tasks. More specifically, the probabilistic formulation allows us to develop an incremental population algorithm that trades off exploitation-exploration. Experiments on three benchmark datasets show that the balanced exploitation-exploration helps the incremental population, and the additional path structure helps to predict missing information in knowledge completion.

研究の動機と目的

• 不完全な知識グラフにおける知識抽出と補完のギャップを解消すること。
• インクリメンタルな抽出と知識補完の両方をサポートする統一された確率的フレームワークを開発すること。
• 潜在的な構造と不確実性の定量化を活用して、知識グラフ構築を改善すること。
• 経路構造が知識補完とインクリメンタルな抽出の両者において果たす対照的な役割を調査すること。

提案手法

• エンティティと関係の埋め込みを潜在空間にモデル化するため、確率的枠組みで双線形テンソル因子分解を定式化する。
• 経路構造（例：三段論法的推論）を因子分解に組み込む構成的拡張を導入し、補完性能を向上させる。
• インクリメンタルな抽出におけるアクティブな三項対選択において、探索と活用のバランスを図るためにスミスサンプリングを採用する。
• 分散パラメータを用いた粒子ベースの推論により、予測の不確実性をモデル化する。
• 不確実性の定量化を可能にする確率的定式化を採用し、アクティブラーニング意思決定を支援する。
• 観測された三項対を用いてモデルを段階的に学習し、各オракルラベル付きクエリの後でパラメータを更新する。

実験結果

リサーチクエスチョン

• RQ1 統一された確率的フレームワークは、インクリメンタルな知識抽出と知識補完の両方をどのように改善できるか？
• RQ2 経路構造の影響は、知識補完性能とインクリメンタルな抽出の効率性の両者にどのように現れるか？
• RQ3 スミスサンプリングは、アクティブな知識抽出において探索と活用を効果的にバランスできるか？
• RQ4 確率的モデルにおける不確実性の定量化は、知識グラフ構築におけるアクティブラーニングをどのように向上させるか？
• RQ5 構成的モデルは補完において優れた結果を示すが、なぜ抽出タスクでは性能を発揮できないのか？

主な発見

• スミスサンプリングを用いた非構成的因子分解を採用するPnormal-tsモデルは、3つのデータセットすべてでインクリメンタルな抽出における累積的利益が最高を記録した。
• 構成的モデル（PCOMP-MUL-TS）は経路構造のおかげで、知識補完において優れた性能を示し、予測精度が向上した。
• 非構成的確率的モデル（Pnormal-ts）は、すべてのベースラインを上回る累積的利益を達成し、探索と活用のバランスがうまく取れていることを示した。
• 構成的モデルは優れた補完結果を示す一方で、抽出タスクでは性能が低かったため、構造的表現力と不確実性推定の間にはトレードオフがあることが示された。
• 確率的モデルとスミスサンプリングの組み合わせにより、ROC-AUCスコアは同等に保たれながら、有効な三項対の取得が最大化された。これは、アクティブラーニングに有効であることを証明した。
• 本研究におけるAmdc-popとAmdc-predの性能差は、先行研究と比較して、初期データとクエリサイズがアクティブラーニングのダイナミクスに与える影響の重要性を浮き彫りにした。