[論文レビュー] Distributed Representations of Entities in Open-World Knowledge Graphs

Lingbing Guo, Zhuo Chen+8 more|arXiv (Cornell University)|Oct 16, 2020

Advanced Graph Neural Networks被引用数 6

ひとこと要約

本稿では、自己特徴に依存せずに、隣接ノードの埋め込みのみからエンティティ埋め込みを学習する分散型知識グラフ表現学習手法、decentRLを提案する。この手法は、グラフ自己注意機構（DAN）を用い、出力表現を最適化するための自己蒸留器（auto-distiller）を導入し、エンティティアライメントおよびエンティティ予測のタスクで最先端の性能を達成した。特に、入射的設定（構造的データのみを前提とする）において顕著な優位性を示した。

ABSTRACT

Graph neural network (GNN)-based methods have demonstrated remarkable performance in various knowledge graph (KG) tasks. However, most existing approaches rely on observing all entities during training, posing a challenge in real-world knowledge graphs where new entities emerge frequently. To address this limitation, we introduce Decentralized Attention Network (DAN). DAN leverages neighbor context as the query vector to score the neighbors of an entity, thereby distributing the entity semantics only among its neighbor embeddings. To effectively train a DAN, we introduce self-distillation, a technique that guides the network in generating desired representations. Theoretical analysis validates the effectiveness of our approach. We implement an end-to-end framework and conduct extensive experiments to evaluate our method, showcasing competitive performance on conventional entity alignment and entity prediction tasks. Furthermore, our method significantly outperforms existing methods in open-world settings.

研究の動機と目的

• オープンワールド設定において、未学習エンティティの入力特徴がしばしば入手不可能であるため、従来のGNNベースのKG埋め込みモデルが入力特徴に依存するという制限を解消すること。
• エンティティ表現を、構造的データのみに依存して学習可能とする、インダクティブ表現学習のための手法を開発すること。
• 元のエンティティ表現に直接的な特徴監督を用いずに、出力埋め込みが継続的に元の表現から学習できる有効な最適化機構を設計すること。
• 分散型学習が集中型集約に比べ、下流タスクにおけるロバスト性と性能の面で優れていることを実証すること。

提案手法

• エンティティ自身の表現を除き、隣接ノードの埋め込みのみを用いてエンティティ埋め込みを計算する分散型注意ネットワーク（DAN）を提案。これはGATの変種である。
• 元の表現と蒸留表現の間の相互情報量を最大化することで、出力埋め込みとそのターゲットを交互に最適化する自己蒸留アルゴリズムを設計。
• 知識蒸留を用いて、出力埋め込みが訓練バッチ全体にわたり、元のエンティティ埋め込みから継続的に学習できるようにする。
• 各エンティティの出力表現を元の埋め込みと一致させるために、自己蒸留器を適用し、次元の不一致を避けるために直接的なL1/L2最小化を回避する。
• 隣接ノードが文脈とクエリの両方として機能する対称的注意機構を採用し、表現力とロバスト性を向上させる。
• DANと知識蒸留を統合し、オープンワールドKGにおけるインダクティブ表現学習を実現するエンドツーエンドフレームワークを構築する。

Figure 1: Comparing graph attention network (GAT) with decentralized attention network (DAN).

実験結果

リサーチクエスチョン

• RQ1 自己特徴や入力特徴に依存せずに、隣接ノードの埋め込みのみからエンティティ表現を効果的に学習可能か？
• RQ2 元のエンティティ表現が直接入力として使われない場合、出力埋め込みはどのように最適化可能か？
• RQ3 自己特徴を排除した隣接ノードのみの注意機構による分散型集約は、従来のGNNと比較してエンティティアライメントおよび予測タスクの性能を向上させるか？
• RQ4 元の埋め込みから出力表現への知識蒸留は、モデルの一般化性能およびインダクティブバイアスを向上させるか？

主な発見

• decentRLは、DBP15Kの3つの言語ペア（ZH-EN、JA-EN、FR-EN）において、エンティティアライメントタスクでSOTA性能を達成し、それぞれMRRスコアが0.672、0.678、0.689を記録した。
• エンティティ予測タスクでは、decentRL + DistMultがFB15K-237で全ベースラインを上回り、最高のMRRを達成し、特に長尾エンティティのMR（平均順位）を顕著に改善した。
• オープンワールド設定では、decentRL + DistMultはCompGCN + ConvEや他のSOTAモデルを上回り、構造的データのみで強力なインダクティブバイアスを示した。
• 自己蒸留器を用いることで、L2またはInfoNCE損失を用いたベースラインと比較して性能が顕著に向上し、H@1スコアはL2ベースラインに比べ最大0.01、InfoNCEベースラインに比べ最大0.015向上した。
• decentRLは、集中型バージョン（centRL）を明確に上回り、自己特徴を排除することで表現品質が向上し、干渉を回避できることが示された。
• レイヤーごとの分析から、decentRLは全レイヤーでAliNetを常に上回り、レイヤーを積み重ねるほど性能向上が顕著になった。これに対してAliNetは2層目以降で性能が低下した。

Figure 2: Open entity alignment results on DBP15K. Bars with dotted lines denote the performance drop compared with the corresponding results in the non-open setting. The same to the following.