[論文レビュー] Comprehensive Analysis of Negative Sampling in Knowledge Graph Representation Learning

Hidetaka Kamigaito, Katsuhiko Hayashi|arXiv (Cornell University)|Jun 21, 2022

Advanced Graph Neural Networks被引用数 9

ひとこと要約

本論文は、知識グラフ埋め込み（KGE）におけるネガティブサンプリング（NS）損失の理論的分析を提供し、スコア範囲が有界なモデル（例：TransE や RotatE）は、無限大のスコア範囲を持つモデル（例：ComplEx や DistMult）とは異なり、マージン項とネガティブサンプル数のための別個のハイパーパrameterチューニングを必要とするという事実を明らかにした。著者らは、理論的根拠に基づいたサブサンプリング手法（Freq および Uniq）を提案し、FB15k-237、WN18RR、YAGO3-10 でKGC性能の向上を達成した。実験結果は理論的予測と整合していることを確認した。

ABSTRACT

Negative sampling (NS) loss plays an important role in learning knowledge graph embedding (KGE) to handle a huge number of entities. However, the performance of KGE degrades without hyperparameters such as the margin term and number of negative samples in NS loss being appropriately selected. Currently, empirical hyperparameter tuning addresses this problem at the cost of computational time. To solve this problem, we theoretically analyzed NS loss to assist hyperparameter tuning and understand the better use of the NS loss in KGE learning. Our theoretical analysis showed that scoring methods with restricted value ranges, such as TransE and RotatE, require appropriate adjustment of the margin term or the number of negative samples different from those without restricted value ranges, such as RESCAL, ComplEx, and DistMult. We also propose subsampling methods specialized for the NS loss in KGE studied from a theoretical aspect. Our empirical analysis on the FB15k-237, WN18RR, and YAGO3-10 datasets showed that the results of actually trained models agree with our theoretical findings.

研究の動機と目的

• ネガティブサンプリング（NS）損失の理論的分析を目的とし、特にマージン項とネガティブサンプルの正規化の役割に焦点を当てる。
• スコア範囲が有界（例：TransE、RotatE）であるKGEモデルと、範囲が無限大（例：ComplEx、DistMult）であるモデルとの間でのハイパーパrameter感度の違いを特定すること。
• KGEにおけるNS損失に特化した、理論的分析に基づくサブサンプリング手法の開発。
• 理論的発見の実証的検証および、標準的なKGEベンチマークデータセットにおける提案手法の有効性の評価。

提案手法

• スコア関数の範囲と損失関数構造の相互作用に基づき、マージン項とネガティブサンプルの正規化がNS損失に与える影響を理論的に分析。
• 有界スコア関数と無限大スコア関数の両者において、マージン項とネガティブサンプル数の調整が異なる条件を理論的に導出。
• KGEにおける真のデータ分布と損失関数の挙動を理論的にモデル化し、新規の2つのサブサンプリング手法（Freq および Uniq）を提案。
• SANS（自己対抗的ネガティブサンプリング）損失を用いて、提案手法の実装と評価。これは現代のKGE学習で標準的な手法である。
• FB15k-237、WN18RR、YAGO3-10 の3つのベンチマークデータセットを用いた実験的評価。MRR、Hits@1、Hits@3、Hits@10 といった標準指標を用いる。
• 理論的知見を基にハイパーパrameterチューニングを実施。均一サブサンプリングや既存手法との性能比較を実施。

実験結果

リサーチクエスチョン

• RQ1 KGEモデルにおけるスコア関数の有界性が、ネガティブサンプリング損失におけるマージン項とネガティブサンプル数の最適設定にどのように影響するか？
• RQ2 ワード2vecから知識グラフへの拡張を考えた場合、NS損失における正規化とマージン項の有効な使用を規定する理論的原則は何か？
• RQ3 自己対抗的ネガティブサンプリングを想定した場合、NS損失の理論的性質に整合するサブサンプリング手法はどのように設計できるか？
• RQ4 理論的に導出されたサブサンプリング手法（Freq および Uniq）は、実世界のデータセットにおいて、均一またはヒューリスティックベースラインと比較してどの程度KGC性能を向上させるか？
• RQ5 有界スコア関数モデルと無限大スコア関数モデルの理論的差異が、多様なKGEモデルとデータセットにおいて実際の性能にも反映されるか？

主な発見

• スコア範囲が有界なモデル（例：TransE や RotatE）は、スコア範囲が無限大のモデル（例：ComplEx や DistMult）とは異なり、マージン項とネガティブサンプル数のハイパーパrameterチューニングを別個に実施する必要がある。
• 理論的分析により、マージン項とネガティブサンプルの正規化がKGE学習において中立的ではないことが確認され、スコア関数の範囲特性に応じて調整する必要がある。
• データ分布の理論的モデリングに基づき導出された提案手法 Freq および Uniq は、評価されたすべてのデータセットおよびモデルで、均一サブサンプリングと同等以上に性能を発揮した。
• FB15k-237、WN18RR、YAGO3-10 における実験結果から、MRR、Hits@1、Hits@3、および多くの場合 Hits@10 が向上しており、特にショートショットおよびスパースな設定で顕著な向上が観察された。
• サブサンプリング手法の性能はモデルやデータセットによって異なるため、モデル固有のバイアス補正が不可欠であり、理論的導出に加えて開発セットにおける実証的検証が不可欠であることが示された。
• NS損失の挙動に関する理論的知見が、効果的なハイパーパrameter選定とサブサンプリング設計を支援できることを確認した。これにより、KGE学習における高コストな経験的チューニングに依存する必要が軽減された。