[論文レビュー] Does William Shakespeare REALLY Write Hamlet? Knowledge Representation Learning with Confidence

Ruobing Xie, Zhiyuan Liu+2 more|arXiv (Cornell University)|May 9, 2017

Advanced Graph Neural Networks参考文献 22被引用数 23

ひとこと要約

本稿では、知識グラフ内のノイズを、内部構造的情報のみを用いて三元組の信頼度を学習することで検出する、信頼度に配慮した知識表現学習フレームワーク（CKRL）を提案する。翻訳ベースのモデルに局所的およびグローバルな構造的信号を統合することで、ノイズ検出、知識グラフ補完、三元組分類の各タスクで性能が向上し、さまざまなノイズレベル下でも一貫した向上効果を示す。

ABSTRACT

Knowledge graphs (KGs), which could provide essential relational information between entities, have been widely utilized in various knowledge-driven applications. Since the overall human knowledge is innumerable that still grows explosively and changes frequently, knowledge construction and update inevitably involve automatic mechanisms with less human supervision, which usually bring in plenty of noises and conflicts to KGs. However, most conventional knowledge representation learning methods assume that all triple facts in existing KGs share the same significance without any noises. To address this problem, we propose a novel confidence-aware knowledge representation learning framework (CKRL), which detects possible noises in KGs while learning knowledge representations with confidence simultaneously. Specifically, we introduce the triple confidence to conventional translation-based methods for knowledge representation learning. To make triple confidence more flexible and universal, we only utilize the internal structural information in KGs, and propose three kinds of triple confidences considering both local and global structural information. In experiments, We evaluate our models on knowledge graph noise detection, knowledge graph completion and triple classification. Experimental results demonstrate that our confidence-aware models achieve significant and consistent improvements on all tasks, which confirms the capability of CKRL modeling confidence with structural information in both KG noise detection and knowledge representation learning.

研究の動機と目的

• 従来の知識表現学習（KRL）手法が訓練用三元組がすべてノイズフリーであると仮定しているという制限に対処すること。
• 表現学習の過程でノイズありまたは矛盾する事実を検出し、緩和すること。
• 外部監視に依存せずに、内部構造的情報のみを用いて三元組の信頼度を推定する、信頼度に配慮したKRLフレームワークの開発。
• ノイズのある訓練データ下でも、知識グラフ補完や三元組分類といった知識駆動型タスクのロバスト性を向上させること。
• 実世界の知識構築パイプラインにおける信頼度に配慮した学習の実用的応用を可能にすること。

提案手法

• 翻訳ベースのKRLモデルにおける動的重みとして三元組の信頼度を導入し、各三元組に構造的特性に基づく信頼度スコアを割り当てる。
• 三種類の三元組信頼度を定義する：局所的信頼度（直近の近隣構造に基づく）、経路信頼度（エンティティ間のグローバル経路に基づく）、および局所的および経路的情報の両方を組み合わせた統合信頼度。
• 例え TransE などの翻訳ベースのモデルフレームワークを採用するが、各三元組の信頼度スコアで重み付けするように損失関数を変更する。
• 外部データやアノテーションを必要とせず、経路整合性や近隣密度などの構造的パターンを用いて信頼度スコアを最適化する。
• 三元組分類にしきい値ベースの分類戦略を適用し、信頼度に配慮した表現が意思決定境界を改善することを実現する。
• 負例三元組生成にフィルタリングプロトコルを適用し、検証セット上で信頼度しきい値を最適化して分類精度を最大化する。

実験結果

リサーチクエスチョン

• RQ1 外部監視を一切用いずに、信頼度に配慮した知識表現学習が、知識グラフにおけるノイズ検出を改善できるか？
• RQ2 内部構造的情報（局所的およびグローバル）をどれだけ効果的に三元組の信頼度推定やKRLのロバスト性向上に活用できるか？
• RQ3 三元組の信頼度を組み込むことで、知識グラフ補完や三元組分類といった下流タスクで一貫した向上が得られるか？
• RQ4 訓練データのノイズ率が増加するに従って、CKRLの性能はどのように変化するか？
• RQ5 提案された信頼度推定フレームワークは、実世界の知識構築ワークフローに一般化可能か？

主な発見

• CKRLは、全テストノイズレベルで顕著かつ一貫した知識グラフノイズ検出性能の向上を達成し、ベースラインモデルを上回る。
• 知識グラフ補完において、特に高ノイズ条件下で顕著な向上を示し、FB15K-N3でTransEと比較してHits@10 (Filter)が最大3.5%向上した。
• 三元組分類においても、CKRLモデルはTransEを上回る精度を達成し、ノイズ率の高いデータセットでは1.0–1.5%の向上を示した。
• 信頼度推定は、外部アノテーションを一切必要とせず内部KG構造のみに依存するため、実世界の知識グラフに適用可能で、ロバストかつ汎用的である。
• アブレーションスタディの結果、局所的および経路的信頼度の組み合わせ（LT+PP+AP）が、すべてのタスクで最も安定的かつ効果的な性能を発揮することが確認された。
• たとえ高いノイズ率（例：FB15K-N3で30%）であっても、CKRLは強力な性能を維持しており、実世界の知識構築パイプラインへの応用可能性が示唆される。