[論文レビュー] Out-of-Sample Representation Learning for Multi-Relational Graphs

Marjan Albooyeh, Rishab Goel+1 more|arXiv (Cornell University)|Apr 28, 2020

Advanced Graph Neural Networks参考文献 32被引用数 4

ひとこと要約

本論文は、属性のない知識グラフにおけるサンプル外表現学習のための新規フレームワークを提示する。エンティティの埋め込みは、集約ベースの手法を用いて関係的文脈からのみ推論される。修正された学習アルゴリズムと集約関数（例：ERAvg、LS）を提案し、DistMultのような推移的モデルが未学習エンティティに一般化可能となるようにし、oWN18RRおよびoFB15k-237ベンチマークで最先端の性能を達成するとともに、インサンプル性能を維持する。

ABSTRACT

Many important problems can be formulated as reasoning in knowledge graphs. Representation learning has proved extremely effective for transductive reasoning, in which one needs to make new predictions for already observed entities. This is true for both attributed graphs(where each entity has an initial feature vector) and non-attributed graphs (where the only initial information derives from known relations with other entities). For out-of-sample reasoning, where one needs to make predictions for entities that were unseen at training time, much prior work considers attributed graph. However, this problem is surprisingly under-explored for non-attributed graphs. In this paper, we study the out-of-sample representation learning problem for non-attributed knowledge graphs, create benchmark datasets for this task, develop several models and baselines, and provide empirical analyses and comparisons of the proposed models and baselines.

研究の動機と目的

• 生産システムにおいて重要であるが、依然として十分に検討が進んでいない非属性付きマルチリレーショングラフにおけるサンプル外表現学習問題を形式的に定義し、その解決を図ること。
• サンプル外推論のための標準化された評価を可能にするために、oWN18RRおよびoFB15k-237というベンチマークデータセットを構築すること。
• 推移的モデルが再訓練なしにテスト時における未学習エンティティに一般化できるようにする新しい学習アルゴリズムと集約関数を開発すること。
• 複数の指標とデータ分割を用いて、提案モデルとベースラインの実験的評価を行い、モデルの頑健性と一般化能力を示すこと。
• インサンプル性能を維持しつつ、サンプル外推論性能を向上させることで、実世界への実装可能性を確保すること。

提案手法

• 推移的およびサンプル外学習の両設定を同時に最適化できるようにするため、ハイパーパrameter ψ を導入した修正された学習アルゴリズム（アルゴリズム2）を提案する。
• エンティティの埋め込みを、その関係の埋め込みの集約によって計算する2つの集約関数（ERAvg：関係埋め込みの要素別平均、LS：微分可能パラメータによる学習済みスケーリング）を導入する。
• エンティティの関係にのみ依存して埋め込みを生成できるように、DistMultのような推移的モデルを拡張し、サンプル外推論を可能にする。
• インサンプル（推移的）およびサンプル外リンク予測タスクの両方の性能をバランスさせるハイブリッド学習目的関数を採用し、ψ を用いてトレードオフを制御する。
• ハダマード積と埋め込みの和に基づく正規化スコア関数を用い、L2正則化とドロップアウトを適用して過学習を防ぐ。
• 学習率と重み減衰のハイパーパramータチューニングを施したAdam最適化手法を用い、実験全体にわたり安定した収束を確保する。

実験結果

リサーチクエスチョン

• RQ1 特徴が利用できない新しいエンティティに対して、推移的知識グラフ埋め込みモデルをどのようにして効果的なサンプル外推論に適応できるか？
• RQ2 平均化や学習済みスケーリングといった異なる集約戦略が、サンプル外エンティティ表現学習の性能に与える影響は何か？
• RQ3 学習手順における補間ハイパーパrameter ψ が、インサンプル性能を維持しつつ未学習エンティティへの一般化能力に与える影響は何か？
• RQ4 提案手法で学習されたモデルは、特に oWN18RR および oFB15k-237 といった異なる知識グラフベンチマークでどの程度一般化可能か？
• RQ5 提案手法は、インサンプル性能を著しく維持しつつ、サンプル外リンク予測の正確性を顕著に向上させることができるか？

主な発見

• oDistMult-ERAvg は oFB15k-237 で MRR 0.354 を達成し、すべてのベースラインおよび標準的な DistMult モデルを上回った。
• oDistMult-LS は oWN18RR で最高の MRR 0.473 を記録し、単純な平均化よりも学習済みスケーリングの有効性を示した。
• ハイパーパrameter ψ は性能に顕著な影響を与えた。ψ の値が 0.1 から 0.5 の範囲にあると最良の結果が得られ、ψ=0（純粋な推移的学習）では性能が著しく低かった。
• サンプル外エンティティの関係トリプル数が増えるほど性能が低下したため、平均化ベースの集約戦略に限界があることが示された。
• 提案手法は標準的な DistMult とほぼ同等のインサンプル性能（MRR: 0.4483 対 0.4498）を維持しており、推移的タスクにおける性能劣化は認められなかった。
• 結果から、ψ を用いた共同最適化が正則化として機能し、学習済みおよび未学習の両エンティティに対してより頑健で一般化可能な表現を学習可能であることが示唆された。