[論文レビュー] Are Negative Samples Necessary in Entity Alignment? An Approach with High Performance, Scalability and Robustness

Xin Mao, Meng Wan+2 more|arXiv (Cornell University)|Aug 11, 2021

Advanced Graph Neural Networks参考文献 48被引用数 4

ひとこと要約

本稿では、対称的で負例なし損失と簡素化された関係的グラフサンプリングエンコーダーを導入することで、負例サンプリングを排除する新規なエンティティアライメント手法PSRを提案する。これにより、大規模知識グラフ上で高い性能、スケーラビリティ、耐障害性を実現する。PSRは線形時間およびメモリ計算量を備え、標準的および大規模データセットにおいて先行手法を上回る最先端の性能を達成する。また、最小限のGPUメモリを要し、インクリメンタル学習をサポートする。

ABSTRACT

Entity alignment (EA) aims to find the equivalent entities in different KGs, which is a crucial step in integrating multiple KGs. However, most existing EA methods have poor scalability and are unable to cope with large-scale datasets. We summarize three issues leading to such high time-space complexity in existing EA methods: (1) Inefficient graph encoders, (2) Dilemma of negative sampling, and (3) "Catastrophic forgetting" in semi-supervised learning. To address these challenges, we propose a novel EA method with three new components to enable high Performance, high Scalability, and high Robustness (PSR): (1) Simplified graph encoder with relational graph sampling, (2) Symmetric negative-free alignment loss, and (3) Incremental semi-supervised learning. Furthermore, we conduct detailed experiments on several public datasets to examine the effectiveness and efficiency of our proposed method. The experimental results show that PSR not only surpasses the previous SOTA in performance but also has impressive scalability and robustness.

研究の動機と目的

• 大規模知識グラフにおける既存のエンティティアライメント手法の高い時間的・空間的計算量を軽減すること。
• エンティティアライメントにおいて計算コストが高く、しばしば品質が低い負例サンプリングの必要性を排除すること。
• インクリメンタル半教師付き学習の導入とメモリ消費量の削減により、スケーラビリティと耐障害性を向上させること。
• 高価なサンプリングや複雑なアーキテクチャに依存せずに、スパースで大規模なグラフを含む多様なデータセットにおいても高い性能を維持すること。

提案手法

• 構造的および関係的情報を保持しつつ計算コストを低減するため、関係的グラフサンプリングを用いた簡素化されたグラフエンコーダーを提案する。
• 負例ペアを必要とせず、エンティティの同等性を直接最適化する対称的で負例なしアライメント損失を導入する。
• 危険な忘却を緩和し、拡大する知識グラフ上で線形にスケーラブルな学習を可能にするレビュー機構を備えたインクリメンタル半教師付き学習戦略を採用する。
• バッチサイズおよびグラフ密度に比例して線形にメモリ成長するミニバッチ学習を用いることで、GPUメモリが限られたデバイスへの展開を可能にする。
• スパースなエンティティ、特に低密度グラフにおける性能向上を図るため、リテラル特徴量を補助信号として統合する。
• 早期のサンプルに対して選択的に再学習を行うレビューしきい値機構を設計し、性能と学習効率のバランスを図る。

実験結果

リサーチクエスチョン

• RQ1 負例サンプリングなしでエンティティアライメントを効果的に行うことは可能か？ その場合、モデル設計および効率にどのような影響があるか？
• RQ2 グラフエンコーダーはどのように簡素化できるか？ これにより、時間的・空間的計算量を大幅に削減しつつ性能を維持できるか？
• RQ3 レビュー機構を備えたインクリメンタル学習は、拡大する知識グラフ上で危険な忘却を防ぎ、スケーラブルな学習を可能にするか？
• RQ4 負例サンプリングなしのモデルは、大規模およびスパースな知識グラフにおいて、最先端手法と比較してどのように性能を発揮するか？

主な発見

• PSRは複数のベンチマークデータセットで最先端の性能を達成し、以前の最先端手法をHits@1スコアで上回った。
• バッチサイズが128で、埋め込み次元が100の小さな設定でも、それぞれ2%および3%のHits@1スコアの低下にとどまり、高い性能を維持した。
• PSRのメモリ消費量はバッチサイズおよびグラフ密度に比例して線形に増加するため、12GBのGPUメモリでの学習が可能であり、これに対して従来手法はこの限界を超える。
• レビューしきい値を備えたインクリメンタル学習戦略により、学習時間を顕著に短縮しつつ性能を維持でき、データセットサイズに比例する線形スケーラビリティを示した。
• スパースデータセット（例：SRPRS_{DE-EN}）において、リテラル特徴量を有するPSRは構造的特徴量のみのモデルを上回り、低接続性領域における補助情報の価値を示した。
• 対称的で負例なし損失により、k近傍探索に依存する手法と比較して25%以上の学習時間短縮が達成された。