[論文レビュー] GreenKGC: A Lightweight Knowledge Graph Completion Method

Yun-Cheng Wang, Xiou Ge+2 more|arXiv (Cornell University)|Aug 19, 2022

Advanced Graph Neural Networks被引用数 4

ひとこと要約

GreenKGCは、表現学習、判別的特徴削除、関係グループ別分類器学習を組み合わせることで、低次元埋め込み（8–32D）において最先端の性能を達成する軽量でモジュラーな知識グラフ補完手法を提案する。低次元においてSOTA手法を上回り、モデルサイズを著しく小さくすることで、リソース制約のあるプラットフォームへの効率的なデプロイを可能にする。

ABSTRACT

Knowledge graph completion (KGC) aims to discover missing relationships between entities in knowledge graphs (KGs). Most prior KGC work focuses on learning embeddings for entities and relations through a simple scoring function. Yet, a higher-dimensional embedding space is usually required for a better reasoning capability, which leads to a larger model size and hinders applicability to real-world problems (e.g., large-scale KGs or mobile/edge computing). A lightweight modularized KGC solution, called GreenKGC, is proposed in this work to address this issue. GreenKGC consists of three modules: representation learning, feature pruning, and decision learning, to extract discriminant KG features and make accurate predictions on missing relationships using classifiers and negative sampling. Experimental results demonstrate that, in low dimensions, GreenKGC can outperform SOTA methods in most datasets. In addition, low-dimensional GreenKGC can achieve competitive or even better performance against high-dimensional models with a much smaller model size.

研究の動機と目的

• 推論に必要な高次元埋め込みを必要とするため、知識グラフ補完（KGC）における巨大なモデルサイズの課題に対処すること。
• モバイルやエッジデバイスなどのリソース制約のあるプラットフォームにおいて、効率的で正確なKGCを実現すること。
• 低次元空間でも高い性能を維持できるモジュラーでパラメータ効率の良いフレームワークを開発すること。
• 深層ニューラルネットワークのエンドツーエンド学習に依存しないことで、学習時間の短縮と複雑な初期化への依存の低減を図ること。
• 知識グラフ構造と埋め込み挙動に特化した新たなネガティブサンプリング戦略により、一般化性能とロバストネスを向上させること。

提案手法

• モジュール1では、高次元のエンティティおよび関係表現のベースラインとして事前学習済みのKGEモデル（例：TransE）を用いる。
• モジュール2では、高次元埋め込みから判別的次元を選択する特徴削除プロセスを適用し、次元削減と予測力の維持を両立する。
• 類似した判別的特徴次元を持つ関係をグループ化し、分類器のパラメータ共有によって効率を向上させる。
• モジュール3では、各関係グループに対してバイナリ分類器を学習し、三元組の存在確率（0〜1）を予測する。この際、ソフトラベルを用いる。
• 2つの新しいネガティブサンプリング方式（オントロジーに基づくおよび埋め込みに基づく）を導入し、ハードネガティブ例の抽出により分類器の一般化性能を向上させる。
• 各モジュールを独立して学習することで、モジュラー最適化が可能となり、学習の複雑さが低減される。

実験結果

リサーチクエスチョン

• RQ1 高次元表現に依存せずに、低次元埋め込みにおいて競争力のある性能を達成できる軽量なKGC手法は存在するか？
• RQ2 モジュラー特徴削除と関係グループ化は、低次元KGCにおけるモデル効率と性能にどのように影響を与えるか？
• RQ3 オントロジーに基づくおよび埋め込みに基づくネガティブサンプリングは、ランダムサンプリングに比べて分類器学習をどのように改善するか？
• RQ4 GreenKGCは、SOTAのKGEおよびニューラルネットワークベースのKGC手法と比較して、推論速度とモデルサイズの点でどのように差をつけるか？
• RQ5 GreenKGCのモジュラーかつ分離された学習アプローチは、エンドツーエンドディープラーニングモデルに一般的に見られる収束および最適化の問題を回避できるか？

主な発見

• GreenKGCは、FB15k-237およびWN18RRにおいて8、16、32次元の低次元空間でSOTA性能を達成し、既存の低次元KGC手法を上回る。
• 32次元設定では、FB15k-237でMRR 0.316、WN18RRでMRR 0.411を達成し、ベースラインKGEおよび他の低次元モデルを上回る。
• 32次元のGreenKGCは、高次元KGEモデル（例：128D）と同等またはそれ以上の性能を発揮するが、はるかに少ないパラメータ数を用いる。
• YAGO3-10のような大規模データセットにおいて、知識蒸留手法（例：DualDE）と比較して、学習時間を約20倍短縮する。
• オントロジーに基づくネガティブサンプリング戦略は、FB15k-237においてランダムおよび埋め込みベースのサンプリングを上回る性能を示すが、WN18RRのようなコンセプトベースのKGでは、埋め込みベースのサンプリングがより効果的である。
• GreenKGCにおける予測スコア分布は、KGのスパarsityを反映しており、1に近い高スコアの候補は僅かに数個にとどまる。これは、ロバストネスと現実的な信頼度推定を示している。