[論文レビュー] One-Shot Relational Learning for Knowledge Graphs

Wenhan Xiong, Mo Yu+3 more|arXiv (Cornell University)|Aug 27, 2018

Advanced Graph Neural Networks参考文献 36被引用数 17

ひとこと要約

この論文は、関係ごとに1つの訓練トリプルのみを用いて新しい事実を予測する、ワンショット関係学習フレームワークを提案する。エンティティ埋め込みと、1ホップ近傍構造に基づく学習可能なマッチングメトリック、および再帰的マッチングプロセッサを組み合わせることで、再訓練を必要とせずに従来の埋め込み手法よりも顕著な性能向上を達成した。

ABSTRACT

Knowledge graphs (KGs) are the key components of various natural language processing applications. To further expand KGs' coverage, previous studies on knowledge graph completion usually require a large number of training instances for each relation. However, we observe that long-tail relations are actually more common in KGs and those newly added relations often do not have many known triples for training. In this work, we aim at predicting new facts under a challenging setting where only one training instance is available. We propose a one-shot relational learning framework, which utilizes the knowledge extracted by embedding models and learns a matching metric by considering both the learned embeddings and one-hop graph structures. Empirically, our model yields considerable performance improvements over existing embedding models, and also eliminates the need of re-training the embedding models when dealing with newly added relations.

研究の動機と目的

• 非常に少ない訓練トリプルで長尾または新規に追加された関係の知識グラフ完成の課題に対処する。
• 関係ごとに大量の訓練データを必要とする従来の埋め込みモデルの制限を克服する。
• 再訓練や微調整なしに未観測の関係に一般化できるフレームワークを開発する。
• 局所的グラフ構造と学習可能なメトリックを活用して、少データでのリンク予測性能を向上させる。

提案手法

• エンティティの1ホップ近傍を符号化する、順列不変なネイバー符号化器を提案し、局所的構造情報を捉える。
• 再帰的ネットワークを用いた微分可能マッチングプロセッサを導入し、エンティティペア間の複数ステップマッチングを実行する。
• エンティティ埋め込みと構造的符号化を組み合わせて類似度スコアを計算する学習可能なメトリックを設計する。
• 近傍表現の正規化を改善するため、スケーリング要因 $1/\mathcal{N}_e$ を使用する。
• マッチング関数を最適化するために、コントラスト損失を用いてモデルをエンドツーエンドで訓練する。
• クエリトリプルを1つの例からなるサポートセットと照合することで、ワンショットリンク予測にモデルを適用する。

実験結果

リサーチクエスチョン

• RQ1 1つの訓練例でのみ学習可能な関係学習モデルは、新しいまたは長尾の関係に一般化できるか？
• RQ2 エンティティ埋め込みと局所的グラフ構造を組み合わせた学習可能なマッチングメトリックは、少データ設定でどの程度効果的か？
• RQ3 1ホップ近傍情報を取り入れることで、埋め込みのみのモデルと比較して一般化性能が向上するか？
• RQ4 新しい関係が追加された際に再訓練を回避しつつ、多様な関係で高い性能を維持できるか？

主な発見

• 提案モデルは、NELL-Oneで17.1% MRR、Wiki-Oneで20.0% MRRを達成し、最良のベースライン埋め込みモデルをそれぞれ7.8%および12.8%上回った。
• ネイバー符号化器、マッチングプロセッサ、スケーリング要因をすべて備えたモデルは、NELL-OneのテストセットでHits@10が0.313を達成した。
• マッチングプロセッサを削除すると、Hits@10は0.266に低下し、その重要性が示された。
• スケーリング要因を欠いたネイバー符号化器は、単純な埋め込みベースのマッチングよりも性能が悪く、正規化が安定性にとって不可欠であることを示した。
• 候補エンティティが100個未満の関係ではより正確に予測され、一部の関係では標準の訓練ベースラインを上回った。
• 候補エンティティが3,000個を超える関係では性能が低下し、極めて曖昧またはスパarsityな関係に対する課題が依然として残っていることが示された。