[論文レビュー] Negative Sampling in Knowledge Graph Representation Learning: A Review

Tiroshan Madushanka, Ryutaro Ichise|arXiv (Cornell University)|Feb 29, 2024

Artificial Intelligence in Healthcare被引用数 7

ひとこと要約

ナレッジグラフ表現学習におけるネガティブサンプリング手法の体系的な調査で、静的および動的アプローチを五つの分類に分け、オープンな研究課題を概説する。

ABSTRACT

Knowledge Graph Representation Learning (KGRL), or Knowledge Graph Embedding (KGE), is essential for AI applications such as knowledge construction and information retrieval. These models encode entities and relations into lower-dimensional vectors, supporting tasks like link prediction and recommendation systems. Training KGE models relies on both positive and negative samples for effective learning, but generating high-quality negative samples from existing knowledge graphs is challenging. The quality of these samples significantly impacts the model's accuracy. This comprehensive survey paper systematically reviews various negative sampling (NS) methods and their contributions to the success of KGRL. Their respective advantages and disadvantages are outlined by categorizing existing NS methods into six distinct categories. Moreover, this survey identifies open research questions that serve as potential directions for future investigations. By offering a generalization and alignment of fundamental NS concepts, this survey provides valuable insights for designing effective NS methods in the context of KGRL and serves as a motivating force for further advancements in the field.

研究の動機と目的

• ネガティブサンプリングがKGRLにとってなぜ重要であるかと、サンプル品質が埋め込みに与える影響を説明する。
• 静的/動的/外部データベースベースのカテゴリを横断したネガティブサンプリング手法の体系的分類を提供する。
• NS手法の特性（効率性、有効性、安定性、独立性、品質）を分析する。
• ネガティブサンプリングのオープンな研究課題と将来の方向性を要約する。

提案手法

• 複数データベースおよびArXivを横断するPRISMA主導のネガティブサンプリング手法の系統的文献調査を実施する。
• NS手法の五カテゴリ分類法を提案する（Static NS、Dynamic NS、External Model-Based、Auxiliary Data-Based、Mixing NS）。
• Noise Contrastive Estimation (NCE)に基づく正サンプル/負サンプルを用いたKGRLフレームワークと代表的なスコアリング関数の詳細を述べる。
• 高品質なネガティブサンプルとNS表記の標準的な表記・概念を定義する。
• NS手法を五つの次元で評価する：効率性、有効性、安定性、独立性、品質。

実験結果

リサーチクエスチョン

• RQ1 KGRLで用いられるネガティブサンプリング手法の主要カテゴリとサブカテゴリは何か。
• RQ2 静的および動的NSアプローチは、効率性・有効性・品質の観点でどう比較されるか。
• RQ3 知識グラフ埋め込みのネガティブサンプリングにおけるオープンな研究課題と今後の方向性は何か。
• RQ4 NCEフレームワークがKGRLにどう適用され、ネガティブサンプル生成に影響を与えるか。

主な発見

• 本論文はNS手法の包括的な分類を提供し、五つのカテゴリと複数のサブカテゴリに分類される。
• ネガティブサンプリングの品質はKGE訓練および下流タスクに大きく影響し、効率性・安定性・独立性の間でトレードオフが生じる。
• 公式なフレームワークと表記はNSの議論を標準化し、高品質ネガティブとS̄(h,r,t)からのサンプリングを含む。
• PRISMAベースの評価プロセスは、会場とarXivを横断して47件の関連論文を生み出し、歴史的および現代的なNS技法を概説した。
• 本論文は、翻訳距離と意味的整合性モデルのいずれにも適用される一般的KGRLフレームワークと目的式を論じている。
• 単一のNS手法がすべての望ましい特性（効率性・有効性・安定性・独立性・品質）を完全に満たすわけではないことを指摘し、トレードオフを強調している。