[論文レビュー] NodePiece: Compositional and Parameter-Efficient Representations of Large Knowledge Graphs

Mikhail Galkin, Étienne Denis+2 more|arXiv (Cornell University)|Jun 22, 2021

Advanced Graph Neural Networks被引用数 23

ひとこと要約

NodePieceは、エンティティを部分語に類似した単位（アンカーノードと関係）の系列として表現することで、大規模知識グラフにおける構成的ノード埋め込みをパラメータ効率的かつアンカーベースの方法で学習する。これにより、標準モデルと比較して最大70倍もパラメータを削減しながら、リンク予測、ノード分類、関係予測のタスクで競争力ある性能を達成する。アンカーノードは全ノードの10%未満で十分である。

ABSTRACT

Conventional representation learning algorithms for knowledge graphs (KG) map each entity to a unique embedding vector. Such a shallow lookup results in a linear growth of memory consumption for storing the embedding matrix and incurs high computational costs when working with real-world KGs. Drawing parallels with subword tokenization commonly used in NLP, we explore the landscape of more parameter-efficient node embedding strategies with possibly sublinear memory requirements. To this end, we propose NodePiece, an anchor-based approach to learn a fixed-size entity vocabulary. In NodePiece, a vocabulary of subword/sub-entity units is constructed from anchor nodes in a graph with known relation types. Given such a fixed-size vocabulary, it is possible to bootstrap an encoding and embedding for any entity, including those unseen during training. Experiments show that NodePiece performs competitively in node classification, link prediction, and relation prediction tasks while retaining less than 10% of explicit nodes in a graph as anchors and often having 10x fewer parameters. To this end, we show that a NodePiece-enabled model outperforms existing shallow models on a large OGB WikiKG 2 graph having 70x fewer parameters.

研究の動機と目的

• エンティティ数に比例して増加する高コストな従来の知識グラフ埋め込みモデルのメモリおよび計算コストを低減すること。
• 推論時における未学習エンティティのインダクティブ表現学習を可能にし、標準的なルックアップベースの埋め込み手法の制限を克服すること。
• 自然言語処理におけるサブワードトークン化にインspirationを得て、大規模知識グラフ向けに固定サイズかつパラメータ効率的な語彙を構築すること。
• エンティティ固有の埋め込みを固定サイズの原子的単位（アンカーや関係）の組み合わせに置き換えることで、パラメータ予算を削減すること。
• Wikidata や OGB WikiKG2 のような大規模で現実世界の知識グラフにおいて、スケーラブルかつ一般化可能な表現学習を実現すること。

提案手法

• NodePieceは、アンカーノードと関係タイプの固定サイズ語彙を構築し、各エンティティをそのk番目の近隣アンカーノードとm個の周囲の関係の系列として符号化する。
• ハッシュ機構を用いて各ノードを一意なアンカーノードおよび関係トークンの系列にマッピングし、学習可能なエンコーダ関数による構成的表現を実現する。
• エンコーダ関数（MLP や Transformer など）は、トークン系列をd次元の埋め込みにマップし、全体のパラメータ予算は語彙サイズとエンコーダの複雑さに依存する。
• 新しい未学習エンティティが同じ固定語彙とエンコーダを用いて埋め込み可能であり、再学習なしにインダクティブ学習をサポートする。
• 関係的文脈とアンカーノードの距離を活用することで、ハッシュの一意性と表現の多様性を向上させ、衝突リスクを低減する。
• RotatE や CompGCN などの任意の下流モデルと互換性があり、標準的なリンク予測およびノード分類の目的関数を用いてエンドツーエンドで学習可能である。

実験結果

リサーチクエスチョン

• RQ1 固定サイズのアンカーベース語彙が、大規模知識グラフにおけるパラメータ効率的かつ一般化可能な表現学習を可能にするか？
• RQ2 アンカーや関係に基づく構成的ノード表現は、標準的なルックアップベースの埋め込みと比較して、どの程度パラメータ効率性と性能で優れているか？
• RQ3 特に大規模知識グラフにおいて、NodePieceは未学習エンティティに対するインダクティブ推論にどの程度一般化できるか？
• RQ4 関係的文脈とアンカーノードの距離を組み込むことで、ノード表現の一意性と品質にどのような影響を与えるか？
• RQ5 NodePieceは、モデルのパラメータを桁違いに削減しながらも、リンク予測、ノード分類、関係予測タスクで競争力ある性能を達成できるか？

主な発見

• NodePieceは、1,000個のアンカーノードと500種類の関係タイプを使用しても、ノード分類、リンク予測、関係予測タスクで競争力ある性能を達成する。
• OGB WikiKG2データセットでは、10,000個のアンカーノードと74種類の関係を使用したNodePieceが、リンク予測でHits@10が0.997を達成し、7800万パラメータの標準モデルを上回った。
• PyTorch-BigGraphが使用する7800万×200の埋め込み行列と比較して、NodePieceはパラメータ数を最大70倍まで削減した。
• 1,000個のアンカーノード語彙と単純なMLPエンコーダを用いたNodePieceは、FB15k-237でHits@10が0.971を達成し、15,000個のエンティティ埋め込みを備えたモデルと同等の性能を示した。
• インダクティブ設定においても良好な一般化性能を示す：アンカーノードが存在しなくても語彙サイズはグラフサイズに依存せず、密で関係の豊富なグラフでも性能が安定している。
• アブレーションスタディの結果、関係的文脈やアンカーノード距離を削除すると性能が低下し、これらが表現の一意性と品質向上に重要であることが確認された。