[論文レビュー] Understanding Negative Sampling in Graph Representation Learning

Zhen Yang, Ming Ding+4 more|arXiv (Cornell University)|May 20, 2020

Advanced Graph Neural Networks参考文献 45被引用数 23

ひとこと要約

本稿はグラフ表現学習におけるネガティブサンプリングを理論的に分析し、最適なネガティブサンプリング分布はポジティブ分布と部分的に線形に相関するべきである（すなわち、$p_n(u|v) \propto p_d(u|v)^\alpha$ で $0 < \alpha < 1$）ことを示している。本稿では、自己対比近似とメトロポリス・ハスティングスサンプリングを用いるスケーラブルなネガティブサンプリング手法MCNSを提案し、5つの異なるGNNおよびネットワーク埋め込みモデルを用いたリンク予測、ノード分類、レコメンデーションタスクにおいて、顕著な性能向上を達成した。

ABSTRACT

Graph representation learning has been extensively studied in recent years. Despite its potential in generating continuous embeddings for various networks, both the effectiveness and efficiency to infer high-quality representations toward large corpus of nodes are still challenging. Sampling is a critical point to achieve the performance goals. Prior arts usually focus on sampling positive node pairs, while the strategy for negative sampling is left insufficiently explored. To bridge the gap, we systematically analyze the role of negative sampling from the perspectives of both objective and risk, theoretically demonstrating that negative sampling is as important as positive sampling in determining the optimization objective and the resulted variance. To the best of our knowledge, we are the first to derive the theory and quantify that the negative sampling distribution should be positively but sub-linearly correlated to their positive sampling distribution. With the guidance of the theory, we propose MCNS, approximating the positive distribution with self-contrast approximation and accelerating negative sampling by Metropolis-Hastings. We evaluate our method on 5 datasets that cover extensive downstream graph learning tasks, including link prediction, node classification and personalized recommendation, on a total of 19 experimental settings. These relatively comprehensive experimental results demonstrate its robustness and superiorities.

研究の動機と目的

• 最適化目的関数とリスクの観点から、グラフ表現学習におけるネガティブサンプリングの役割を体系的に分析すること。
• ネガティブサンプリングが推定分散を最小化し、最適化目的関数を最適化する理論的条件を同定すること。
• ポジティブサンプリング分布と部分的に線形に相関する原理的ネガティブサンプリング分布を導出すること。
• 理論的知見を活用して、下流タスクのパフォーマンスを向上させるスケーラブルで効果的なネガティブサンプリング戦略を開発すること。
• 提案手法の優位性を、多様なグラフ学習タスクおよびアーキテクチャにおいて実証的に検証すること。

提案手法

• 理論的分析により、ネガティブサンプリングは最適化目的関数の形状を規定し、推定分散を最小化する点でポジティブサンプリングと同等に重要であることが示された。
• 本稿では、最適なネガティブサンプリング分布を $p_n(u|v) \propto p_d(u|v)^\alpha$（$0 < \alpha < 1$）として導出した。ここで $p_d(u|v)$ はポジティブサンプリング分布を表す。
• MCNSは、現在のノード埋め込みから得られる自己対比を用いて、理想のポジティブ分布を近似し、ネガティブサンプリングをガイドする。
• 局所的なグラフ構造を活用してバーンインを省略し、効率を維持するため、メトロポリス・ハスティングスアルゴリズムが採用された。
• 隣接ノードのマルコフ性を活用することで、性能劣化を伴わずに高速な混合と高品質なネガティブサンプルの生成が保証された。
• 本手法はGNNおよび従来のネットワーク埋め込みモデルの両方と互換性があり、広範な適用性を有する。

実験結果

リサーチクエスチョン

• RQ1 ネガティブサンプリングはグラフ表現学習における最適化目的関数と推定分散にどのように理論的に影響を与えるか？
• RQ2 リスクを最小化し、パフォーマンスを向上させるために、ネガティブサンプリング分布はポジティブサンプリング分布に対してどのように設計すべきか？
• RQ3 原理的ネガティブサンプリング戦略は、次数ベースのサンプリングなどのヒューリスティックなデフォルトを上回る性能を示せるか？
• RQ4 提案手法は、さまざまなグラフ学習モデルおよびデータセットにおいて、どの程度パフォーマンスを向上させるか？
• RQ5 不適切なネガティブサンプリング（例：確率が低い遠くのノードをサンプリング）はモデルパフォーマンスにどのように影響し、定量的に説明可能か？

主な発見

• 最適なネガティブサンプリング分布はポジティブ分布と部分的に線形に相関するが、これは「遠くのノードをサンプリングすべき」という一般的な直感とは矛盾する。
• MCNSは、5つの実世界データセット上で19の実験設定において、8つの既存のネガティブサンプリング戦略を顕著に上回った。
• ネガティブサンプリング数 $k$ が増加するに従い、ある点まではパフォーマンスが向上するが、その後は $k$ の増加に伴うバイアスにより性能が劣化する傾向が確認され、理論的なリスクトレードオフが裏付けられた。
• $p_d(u)$ が低い遠くのノードをサンプリングするとパフォーマンスが劣化するが、これは不適切なネガティブ分布が学習に悪影響を及えるという理論を裏付けた。
• 逆数DNS戦略（低確率のアイテムからサンプリング）では、候補サイズ $M$ が増加するに従いMRRとHits@kが低下する傾向が観察され、理論の実証的妥当性が裏付けられた。
• MCNSは、グラフSAGE、GCNなど多様なモデルおよびリンク予測、ノード分類、レコメンデーションなど多様なタスクにおいて高いパフォーマンスを維持しており、強靭性が示された。