[論文レビュー] Efficient, Simple and Automated Negative Sampling for Knowledge Graph Embedding

Yongqi Zhang, Quanming Yao+1 more|arXiv (Cornell University)|Oct 24, 2020

Advanced Graph Neural Networks参考文献 70被引用数 4

ひとこと要約

本稿では、知識グラフ埋め込みにおけるトレーニング効率とパフォーマンスの向上を目的として、高勾配のネガティブトリプルのキャッシュを動的に維持する新しいネガティブサンプリング手法NSCachingを提案する。自動機械学習を用いてキャッシュ管理における探索と活用のバランスを最適化することで、モデルの複雑さを増すことなく、複数のモデルとベンチマークで最先端の結果を達成した。

ABSTRACT

Negative sampling, which samples negative triplets from non-observed ones in knowledge graph (KG), is an essential step in KG embedding. Recently, generative adversarial network (GAN), has been introduced in negative sampling. By sampling negative triplets with large gradients, these methods avoid the problem of vanishing gradient and thus obtain better performance. However, they make the original model more complex and harder to train. In this paper, motivated by the observation that negative triplets with large gradients are important but rare, we propose to directly keep track of them with the cache. In this way, our method acts as a "distilled" version of previous GAN-based methods, which does not waste training time on additional parameters to fit the full distribution of negative triplets. However, how to sample from and update the cache are two critical questions. We propose to solve these issues by automated machine learning techniques. The automated version also covers GAN-based methods as special cases. Theoretical explanation of NSCaching is also provided, justifying the superior over fixed sampling scheme. Besides, we further extend NSCaching with skip-gram model for graph embedding. Finally, extensive experiments show that our method can gain significant improvements on various KG embedding models and the skip-gram model, and outperforms the state-of-the-art negative sampling methods.

研究の動機と目的

• 不良なネガティブサンプリング戦略によって引き起こされる勾配消失問題を解消すること。
• 一様分布やベルヌーイサンプリングなどの固定されたサンプリング方式の限界を克服し、ネガティブトリプルの動的な分布に適応できない問題を解決すること。
• 追加のジェネレータのトレーニングを必要とせず、複雑なGANベースのネガティブサンプリング手法の代替として、軽量でスケーラブルな代替案を開発すること。
• キャッシュのサンプリングと更新における探索と活用のバランスを、自動機械学習を用いて動的に制御すること。
• グラフ表現学習のためのスキップグラムモデルへこの手法を拡張し、多様な下流タスクにおける一般化性能を向上させること。

提案手法

• 勾配が大きい、つまりモデル最適化に最も有用なネガティブトリプルの動的キャッシュを維持する。
• ブレグマンダイバージェンスに基づく最適化フレームワークを用い、トレーニング中の収束性と安定性を保証する。
• 探索と活用のトレードオフを最適化するために、自動機械学習（AutoML）を用いてキャッシュエントリの選択と更新を調整する。
• 勾配の大きさに基づく適応的サンプリング確率を用いて、サンプリングプロセスを確率的最適化問題として定式化する。
• スコアリング関数（例：TransE, RotatE）と統合し、ノード表現学習のためのスキップグラムモデルへも拡張する。
• 理論的分析により、凸および非凸設定の両方で収束が保証されることを示し、固定サンプリング方式に対する本手法の有効性を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 モデルの複雑さを増すことなく、知識グラフ埋め込みにおけるネガティブサンプリングの効果を高めることは可能か？
• RQ2 ジェネレータのトレーニングを必要とせず、GANベースのネガティブサンプリングを上回る性能を達成できるキャッシュベースのアプローチは存在するか？
• RQ3 キャッシュ内の高勾配サンプルを活用するのと、新しいネガティブサンプルを探索するとの最適なバランスは何か？
• RQ4 NSCachingは、異なるスコアリング関数や下流タスクに一般化して効果を発揮するか？
• RQ5 NSCachingは、グラフ表現学習のためのスキップグラムモデルへ効果的に拡張可能か？

主な発見

• NSCachingは、複数のベンチマーク知識グラフデータセットで最先端のパフォーマンスを達成し、固定およびGANベースのネガティブサンプリング手法を上回った。
• リンク予測およびノード分類の精度が顕著に向上し、Macro-F1スコアは、Node2vec や SeedNE といったベースライン手法よりも一貫して高い値を示した。
• ノード分類タスクにおいて、NSCachingを用いたスキップグラムモデルは、頻度ベースの手法よりも高いF1スコアを達成した。30%、50%、70%のラベル付きノードスプリットの全範囲で改善が観察された。
• AutoMLによる探索と活用のバランス最適化により、より安定的かつ効果的なサンプリングが実現され、バイアスと勾配消失の問題が軽減された。
• 理論的分析により、NSCachingの収束性と有効性が確認され、固定サンプリング方式に対する優位性が明確に形式的裏付けられた。
• 広範なアブレーション実験の結果、高勾配サンプルをキャッシュに保持することで、一様分布やベルヌーイサンプリングに比べ、収束が速く、一般化性能も優れたことが示された。