[論文レビュー] Simplify and Robustify Negative Sampling for Implicit Collaborative Filtering

Jingtao Ding, Yuhan Quan+3 more|arXiv (Cornell University)|Sep 7, 2020

Video Surveillance and Tracking Methods参考文献 46被引用数 59

ひとこと要約

本論文は SRNS を導入します。これは、偽陰性に対する頑健性を高め、効率性を改善する暗黙的協調フィルタリングのメモリベースで分散を考慮したネガティブサンプリング法です。SRNS は合成データセットと実データセットの両方でベースラインを上回ることを示しています。

ABSTRACT

Negative sampling approaches are prevalent in implicit collaborative filtering for obtaining negative labels from massive unlabeled data. As two major concerns in negative sampling, efficiency and effectiveness are still not fully achieved by recent works that use complicate structures and overlook risk of false negative instances. In this paper, we first provide a novel understanding of negative instances by empirically observing that only a few instances are potentially important for model learning, and false negatives tend to have stable predictions over many training iterations. Above findings motivate us to simplify the model by sampling from designed memory that only stores a few important candidates and, more importantly, tackle the untouched false negative problem by favouring high-variance samples stored in memory, which achieves efficient sampling of true negatives with high-quality. Empirical results on two synthetic datasets and three real-world datasets demonstrate both robustness and superiorities of our negative sampling method.

研究の動機と目的

• 暗黙の CF における unlabeled データと偽陰性にもかかわらず、頑健で効率的なネガティブサンプリングを動機づける。
• 高ポテンシャルなネガティブ候補の小さなメモリが効果的な学習に十分であることを示す。
• スコアベースのメモリ更新と分散ベースの選択を組み合わせた二段階サンプリング方式を提案する。
• 合成データと実世界データセットで SRNS の頑健性と優れた性能を示す。

提案手法

• 各ユーザーメモリ M_u を用いて S1 の高ポテンシャルネガティブ候補を格納する。
• スコアのソフトマックス（温度 τ）に基づく新規ハードネガティブを S1 個分取り出し、均等サンプリングされた候補と統合して M_u を更新する。
• 偽陽性の予測確率が高いネガティブを選択し、分散項（alpha_t * std）を加えた分散ベースのサンプリング基準を導入する。
• 分散ベースのサンプリングの重要性を徐々に強調するための alpha_t のウォームスタートスケジュールを採用する。
• トレーニングが進むにつれて偽陰性を同定するためのブートストラップ（ memorization ）を活用し、サンプリングを適切に調整する。

実験結果

リサーチクエスチョン

• RQ1 メモリベースのネガティブサンプラーは真のネガティブの動的分布を効率的に捉えられるか。
• RQ2 偽陰性を緩和するためにネガティブサンプルの品質をどう信頼できる指標で測定できるか。
• RQ3 分散認識型サンプリング戦略は、従来のハードネガティブや一様サンプリングより頑健性と性能を向上させるか。
• RQ4 サンプリングに分散を組み込むための有益なトレーニングスケジュールはあるか（ウォームスタート）。

主な発見

データセット	手法	N@1	N@3	R@3
Movielens-1m	ENMF	0.1846	0.3021	0.3882
Movielens-1m	Uniform	0.1744	0.2846	0.3663
Movielens-1m	NNCF	0.0829	0.1478	0.1971
Movielens-1m	AOBPR	0.1802	0.2905	0.3728
Movielens-1m	IRGAN	0.1755	0.2877	0.3708
Movielens-1m	RNS-AS	0.1823	0.2932	0.3754
Movielens-1m	AdvIR	0.1790	0.2941	0.3792
Movielens-1m	SRNS	0.1933	0.3070	0.3912
Pinterest	ENMF	0.2594	0.4144	0.5284
Pinterest	Uniform	0.2586	0.4136	0.5276
Pinterest	NNCF	0.2292	0.3699	0.4735
Pinterest	AOBPR	0.2596	0.4165	0.5319
Pinterest	IRGAN	0.2587	0.4143	0.5282
Pinterest	RNS-AS	0.2690	0.4233	0.5359
Pinterest	AdvIR	0.2689	0.4235	0.5363
Pinterest	SRNS	0.2891	0.4391	0.5486
Ecommerce	ENMF	0.1317	0.2095	0.2670
Ecommerce	Uniform	0.1265	0.2057	0.2640
Ecommerce	NNCF	0.0833	0.1420	0.1855
Ecommerce	AOBPR	0.1293	0.2108	0.2710
Ecommerce	IRGAN	0.1275	0.2065	0.2648
Ecommerce	RNS-AS	0.1335	0.2131	0.2714
Ecommerce	AdvIR	0.1357	0.2141	0.2719
Ecommerce	SRNS	0.1471	0.2256	0.2833

• SRNS はデータセット全体で baselines と比較して NDCG@1 および NDCG@3 を一貫して改善する。
• 分散ベースのサンプリングは偽陰性に対して頑健性をもたらし、難易度のみを重視する戦略よりノイズの多い監視下でも優れている。
• SRNS は GAN ベースのネガティブサンプリング手法よりも速く収束し、より安定している。
• SRNS の改善は GMF および MLP のスコアリング関数の両方で観察され、適用性が示される。
• 実データセットでは、SRNS は二番目に良いベースラインに対して NDCG@1 で最大 8.40% の相対的改善を達成する。