[論文レビュー] A Birds Eye View on Knowledge Graph Embeddings, Software Libraries, Applications and Challenges

Satvik Garg, Dwaipayan Roy|arXiv (Cornell University)|May 18, 2022

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本論文は、知識グラフ埋め込み（KGE）と知識グラフ補完（KGC）の包括的サーベイを提供しており、静的、時系列的、不確実性を伴う、およびマルチモーダルな知識グラフにおける最先端手法をレビューしている。翻訳型、因子分解型、深層スコア関数に基づくKGE技術に加え、DeepPath や Minerva といった強化学習ベースの手法も検討し、主要なソフトウェアライブラリを比較することで、今後のKGC研究を導くための未解決の課題を特定している。

ABSTRACT

In recent years, Knowledge Graph (KG) development has attracted significant researches considering the applications in web search, relation prediction, natural language processing, information retrieval, question answering to name a few. However, often KGs are incomplete due to which Knowledge Graph Completion (KGC) has emerged as a sub-domain of research to automatically track down the missing connections in a KG. Numerous strategies have been suggested to work out the KGC dependent on different representation procedures intended to embed triples into a low-dimensional vector space. Given the difficulties related to KGC, researchers around the world are attempting to comprehend the attributes of the problem statement. This study intends to provide an overview of knowledge bases combined with different challenges and their impacts. We discuss existing KGC approaches, including the state-of-the-art Knowledge Graph Embeddings (KGE), not only on static graphs but also for the latest trends such as multimodal, temporal, and uncertain knowledge graphs. In addition, reinforcement learning techniques are reviewed to model complex queries as a link prediction problem. Subsequently, we explored popular software packages for model training and examine open research challenges that can guide future research.

研究の動機と目的

• 知識グラフ補完（KGC）技術、特に表現学習とリンク予測手法に関する体系的概要を提供すること。
• 翻訳型、因子分解型、深層学習型モデルに分類される主なKGEファミリーの強みと限界を分析すること。
• 時系列的、不確実性を伴う、およびマルチモーダルなKGを含む、複雑な知識グラフにおけるKGCの最新の進展をレビューすること。
• KGEモデルのトレーニングを支援する主要なソフトウェアライブラリの評価と比較を行い、再現可能性を高めること。
• 特にキャリブレーション、逆関係の取り扱い、動的グラフモデリングの面で残されたKGCの課題と今後の研究方向性を特定すること。

提案手法

• KGEモデルを主に3つのタイプに分類する：翻訳型（例：TransE）、因子分解型（例：DistMult）、深層学習型（例：ConvE、RotatE）。
• DeepPath、Minerva、M-Walk、DAPath といった強化学習ベースのKGC手法をレビューし、複雑なクエリを逐次的リンク予測タスクとして定式化するアプローチを検討する。
• KGEモデルで用いられるスコア関数を、その誘導的バイアス（翻訳、行列因子分解、ニューラルネットワークベース）に基づいて分類・分析する。
• DGL-KE、OpenKE、PyKE、OGB といった主要なオープンソースソフトウェアライブラリを、スケーラビリティ、モularity、サポートされるモデルの観点から比較する。
• FB15k、FB15k-237、YAGO3-10 といったベンチマークデータセット上でKGEモデルの性能を評価し、MR、MRR、Hits@10 といった標準指標に注目する。
• 現在の研究におけるギャップを特定する。具体的には、信頼度スコアのキャリブレーションが不十分であること、逆関係のサポートが不足していること、動的KGに対するトレーニング戦略が限定的であること。

実験結果

リサーチクエスチョン

• RQ1 翻訳型、因子分解型、深層学習型のKGEアーキテクチャは、標準的なKGCベンチマークにおいて、性能と一般化能力の面でどのように比較されるか？
• RQ2 強化学習ベースの手法は、知識グラフにおける複雑で多段階のクエリをモデル化する上で、どのような主な利点と制限を有しているか？
• RQ3 最近のKGEモデルは、時系列的、不確実性を伴う、およびマルチモーダルなKGといった非静的知識グラフをどのように処理しているか？
• RQ4 KGEモデルのトレーニングに最も効果的かつスケーラブルなソフトウェアライブラリは何か？また、それらは再現性とモデル比較をどのように支援しているか？
• RQ5 KGC分野には、特にモデルキャリブレーション、逆関係の取り扱い、動的かつ異種グラフにおけるトレーニング戦略の面で、今後解決すべき未解決の課題が残っているか？

主な発見

• TransE や RotatE といった翻訳型モデルは、標準ベンチマークで優れた性能を示しており、RotatE は回転関係をモデル化できる能力により、YAGO3-10 および FB15k-237 で特に優れた結果を達成している。
• DistMult や ComplEx といった因子分解型モデルは、対称的・反対称的関係に対して高い効率性とスケーラビリティを発揮するが、複雑な関係パターンには対応しづらい。
• ConvE や SimplE といった深層学習型モデルは、高階の相互作用をモデル化する際、特に複雑な関係タイプにおいて性能が向上するが、トレーニングの複雑さが増すという代償を伴う。
• DeepPath や Minerva といった強化学習ベースの手法は、多段階推論タスクで最先端の結果を達成しており、KG上での複雑なクエリ解決におけるRLの可能性を示している。
• 本研究では、認識されたSOTAと実際のSOTAの間に顕著なギャップが存在することを特定した。多くの研究者が、評価プロトコルの不一致や信頼度スコアのキャリブレーション不足により、現在のSOTAを過大評価していることが判明した。
• DGL-KE や OGB といったオープンソースライブラリは、KGEモデルのトレーニングとベンチマークに強く支援しているが、動的で異種的かつ不確実なKGを扱うためのより良いツールキットの整備が今後必要とされている。