[論文レビュー] Relation Prediction as an Auxiliary Training Objective for Improving Multi-Relational Graph Representations

Yihong Chen, Pasquale Minervini+2 more|arXiv (Cornell University)|Oct 6, 2021

Advanced Graph Neural Networks被引用数 7

ひとこと要約

本論文は、関係予測を統合した自己教師あり補助学習目的を提案し、知識ベース補完（KBC）のパフォーマンスを向上させることを目的としている。変更された1vsAll目的関数を用いて、主語、目的語、関係を同時に予測するようにモデルを訓練することで、FB15k-237においてHits@1で最大9.9%、MRRで6.1%の向上が達成された。特に、関係の種類が多様なデータセットや、より大きな埋め込みサイズを用いた場合に顕著な向上が見られた。

ABSTRACT

Learning good representations on multi-relational graphs is essential to knowledge base completion (KBC). In this paper, we propose a new self-supervised training objective for multi-relational graph representation learning, via simply incorporating relation prediction into the commonly used 1vsAll objective. The new training objective contains not only terms for predicting the subject and object of a given triple, but also a term for predicting the relation type. We analyse how this new objective impacts multi-relational learning in KBC: experiments on a variety of datasets and models show that relation prediction can significantly improve entity ranking, the most widely used evaluation task for KBC, yielding a 6.1% increase in MRR and 9.9% increase in Hits@1 on FB15k-237 as well as a 3.1% increase in MRR and 3.4% in Hits@1 on Aristo-v4. Moreover, we observe that the proposed objective is especially effective on highly multi-relational datasets, i.e. datasets with a large number of predicates, and generates better representations when larger embedding sizes are used.

研究の動機と目的

• 知識ベース補完（KBC）のための多関係的グラフ表現学習を向上させるために、新しい自己教師あり学習目的を導入すること。
• 訓練中に関係タイプを予測することで、下流のリンク予測パフォーマンスが向上するかどうかを調査すること。
• 提案された目的関数の有効性を、多様なKBCモデルと関係の複雑さが異なるデータセットにおいて評価すること。
• 本手法が、特に多くの対多関係を含む困難な関係や、高密度に多様な関係が存在するデータセットにおける表現品質に与える影響を分析すること。
• 補助的目的が、関係表現の多様性および分離性を向上させるかどうかを検討すること。

提案手法

• 標準的な1vsAll学習目的を拡張し、与えられた三元組 (s, p, o) の関係タイプを予測する項を追加する。
• 主語、目的語、関係を同時に予測するようにモデルを訓練し、3つの要素を統合したスコア関数を用いる。
• 訓練目的は自己教師ありであり、追加のアノテーションを必要とせず、ComplEx-N3 や CP-N3 などの既存のKGEモデルと互換性がある。
• N3正則化を用い、標準的なKBC評価指標（MRRおよび(s,p,?)、 (?,p,o) クエリにおけるHits@1）を用いて評価する。
• t-SNE可視化を用いて、学習されたエンティティおよび関係表現の多様性とクラスタリングを定性的に分析する。
• ハイパーパrameterは検証MRRに基づいて選択され、FB15k-237、Aristo-v4、および他の関係数が異なるデータセットで実験が実施された。

実験結果

リサーチクエスチョン

• RQ1 関係予測を補助的目的として組み込むことで、KBCにおける多関係的グラフ表現学習が向上するか？
• RQ2 提案された目的関数は、エンティティランク付けタスク、特にMRRとHits@1にどのような影響を与えるか？
• RQ3 関係の種類が非常に多いデータセットでは、性能向上が顕著に現れるか？
• RQ4 本手法は、複雑な対多関係（many-to-many relations）の予測能力を向上させるか？
• RQ5 補助的目的が、より多様で明確に分離された関係表現を生成するか？

主な発見

• ComplEx-N3を用い、埋め込みサイズが2K〜4Kの範囲で適用した場合、FB15k-237においてMRRが6.1%向上し、Hits@1が9.9%向上した。
• Aristo-v4では、MRRが3.1%、Hits@1が3.4%向上し、多様なデータセットにおいて一貫した向上が確認された。
• 性能向上は、関係の種類が非常に多いデータセットで顕著であり、関係タイプが多数存在する状況で本手法が特に有効であることが示された。
• 埋め込みサイズが大きいほど向上幅が大きくなる傾向にあり、補助的目的が表現能力の高いモデルでより効果を発揮することが示唆された。
• t-SNEによる定性的分析から、関係予測により関係表現のクラスタがより明確に分離され、意味的分離性が向上していることが確認された。
• 特に標準的なKGEモデルが困難とされる「current_roster」、「founded_in」、「awards_won」などの対多関係の予測精度も向上した。