[論文レビュー] A Survey of Knowledge Graph Embedding and Their Applications

Shivani Choudhary, Tarun Luthra+2 more|arXiv (Cornell University)|Jul 16, 2021

Advanced Graph Neural Networks参考文献 40被引用数 5

ひとこと要約

本調査は、翻訳ベースのモデル（例：TransE）から高度な意味的・マルチモーダルなアプローチに至るまで、知識グラフ埋め込み（KGE）技術の包括的な概要を提供する。エンティティおよび関係のベクトル表現が、リンク予測、三項組分類、レコメンデーションシステムにおける応用を可能にし、テキストおよびマルチモーダルデータの統合を通じて表現学習と実世界のパフォーマンスを向上させることに焦点を当てる。

ABSTRACT

Knowledge Graph embedding provides a versatile technique for representing knowledge. These techniques can be used in a variety of applications such as completion of knowledge graph to predict missing information, recommender systems, question answering, query expansion, etc. The information embedded in Knowledge graph though being structured is challenging to consume in a real-world application. Knowledge graph embedding enables the real-world application to consume information to improve performance. Knowledge graph embedding is an active research area. Most of the embedding methods focus on structure-based information. Recent research has extended the boundary to include text-based information and image-based information in entity embedding. Efforts have been made to enhance the representation with context information. This paper introduces growth in the field of KG embedding from simple translation-based models to enrichment-based models. This paper includes the utility of the Knowledge graph in real-world applications.

研究の動機と目的

• 翻訳ベースのモデルから文脈に配慮した高機能なモデルに至るまでの知識グラフ埋め込み（KGE）手法の進化を体系的に概説すること。
• テキストおよびマルチモーダル情報（例：画像、テキスト）をエンティティ表現に統合することで、埋め込み品質を向上させることの検討。
• KGEの実世界のタスク（例：リンク予測、三項組分類、レコメンデーションシステム）への応用を分析すること。
• 文脈に配慮した学習やマルチタスク学習アプローチを含む、新たな研究分野の同定。
• ベクトル空間表現を通じて、構造化された知識グラフデータと実用的な機械学習応用の間のギャップを埋めること。

提案手法

• KGE手法を主に二つのファミリーに分類する：ベクトル加算に基づく翻訳モデル（例：TransE、TransH）と乗算演算に基づく意味的マッチングモデル。
• TransEのコアメカニズムを説明する。式 h + r ≈ t を用い、ヘッドエンティティベクトル h、関係ベクトル r、テールエンティティベクトル t が順序付けに基づく損失関数により最適化される。
• TransHを、一対多および多対多関係の処理に限界を抱えるTransEの拡張として説明する。関係固有の超平面にエンティティを投影することで、関係の多様性を捉える。
• DistMultやComplExといった意味的マッチングモデルを紹介する。これらはテンソル因子分解と複素数値埋め込みを用い、対称的・反対称的・逆関係をモデル化する。
• テキストおよび視覚的特徴をエンティティ埋め込みに統合するマルチモーダルKGEアプローチをレビューする。これにより、グラフ構造を超えた表現の豊かさが向上する。
• レコメンデーションシステムにおける三つの学習パラダイムを概説する：二段階学習、共同学習、マルチタスク学習。KGEはグラフベースの補助情報としてレコメンデーションを支援する。

実験結果

リサーチクエスチョン

• RQ1 知識グラフ埋め込みモデルは、単純な翻訳ベースのアプローチから、より複雑で豊富な表現にどのように進化したか？
• RQ2 TransEのような初期のKGEモデルが、一対多や多対多関係といった複雑な関係パターンを処理する際に抱える限界は何か？
• RQ3 意味的マッチングモデルは、翻訳ベースのモデルに比べて、対称的・反対称的・逆関係をどのようによりよく捉えているか？
• RQ4 マルチモーダルおよび豊富な埋め込みモデルは、構造的情報を超えてエンティティ表現をどのように向上させているか？
• RQ5 KGEベースの手法は、リンク予測、三項組分類、レコメンデーションシステムといった下流タスクで、どのようにパフォーマンスを向上させているか？

主な発見

• TransE や TransH といった翻訳ベースのモデルは、関係をベクトルの平行移動としてモデル化することでKGEの基盤を築いたが、複雑な関係タイプには対応できなかった。
• DistMult や ComplEx といった意味的マッチングモデルは、乗算スコア関数を用いることで、対称的および反対称的関係の捉え方を翻訳モデルを上回っている。
• アテンション機構や事前学習済み言語モデルを用いてテキスト情報を埋め込みに統合することで、表現品質と下流タスクの精度が顕著に向上する。
• 画像とテキスト特徴を統合するマルチモーダルKGEモデルは、特にデータが少ない状況でも、豊かなエンティティ記述を必要とするタスクで優れたパフォーマンスを示す。
• レコメンデーションシステムにおける共同学習およびマルチタスク学習フレームワークは、KGEの学習をレコメンデーションの目的と一致させることで、推薦精度と耐障害性を向上させている。
• Hits@10 や平均逆順位（MRR）といった評価指標は、FB15k や WN18 といった標準ベンチマークデータセットにおいて、現代のKGEモデルが古典的ベースラインを常に上回ることを示している。