[論文レビュー] Word2Vec applied to Recommendation: Hyperparameters Matter

Hugo Caselles-Dupré, Florian Lesaint+1 more|arXiv (Cornell University)|Apr 11, 2018

Topic Modeling参考文献 22被引用数 45

ひとこと要約

この論文はリコメンデーション設定における Skip-gram with Negative Sampling (SGNS) の大規模ハイパーパラメータ探索を行い、データ/タスク依存のハイパーパラメータの調整（特に負サンプリング分布、エポック数、サブサンプリング、窓幅）がNEP性能を大きく向上させ、NLPタスクとは異なる最適選択が生じることを示す。

ABSTRACT

Skip-gram with negative sampling, a popular variant of Word2vec originally designed and tuned to create word embeddings for Natural Language Processing, has been used to create item embeddings with successful applications in recommendation. While these fields do not share the same type of data, neither evaluate on the same tasks, recommendation applications tend to use the same already tuned hyperparameters values, even if optimal hyperparameters values are often known to be data and task dependent. We thus investigate the marginal importance of each hyperparameter in a recommendation setting through large hyperparameter grid searches on various datasets. Results reveal that optimizing neglected hyperparameters, namely negative sampling distribution, number of epochs, subsampling parameter and window-size, significantly improves performance on a recommendation task, and can increase it by an order of magnitude. Importantly, we find that optimal hyperparameters configurations for Natural Language Processing tasks and Recommendation tasks are noticeably different.

研究の動機と目的

• 推奨システムのためのWord2Vec埋め込みが、NLPとは異なるハイパーパラメータを必要とする理由を動機づける。
• さまざまなデータセットにおける主要なSGNSハイパーパラメータのNEP性能への限界効果を定量化する。
• データ/タスク固有のハイパーパラメータ最適化がデフォルト構成に比べて substantial な利益をもたらすことを示す。
• 標準SGNSとMeta-Prod2Vecを比較し、コールドスタートを分析する。

提案手法

• SGNS with negative sampling (SGNS) の説明とハイパーパラメータの役割: alpha（負サンプリング分布）、n（エポック数）、L（窓幅）、t（サブサンプリング閾値）。
• 4データセット（音楽2つ、eコマース1つ、クリックストリーム1つ）で7つのハイパーパラメータに対して大規模なハイパーパラメータグリッド探索を実施。
• NEP（Next Event Prediction）を用いたアイテム埋め込みの評価を、HR@KおよびNDCG@K指標で、訓練/検証/テスト分割を跨いで実施。
• Gensim実装をalphaが調整可能になるよう改変し、Out-of-the-box SGNS、Optimized SGNS、Fully Optimized SGNS、Meta-Prod2Vecの構成を比較。
• 95%信頼区間で結果を報告し、ハイパーパラメータの重要性とデータ依存性の分析を提供。

実験結果

リサーチクエスチョン

• RQ1 SGNSハイパーパラメータはリコメンデーションタスクのNEP性能にどう影響するか。
• RQ2 NLP向けのデフォルト設定がリコメンデーションに適しているのか、それともデータ/タスク固有の設定がより良い結果を生むのか。
• RQ3 ハイパーパラメータ最適化は、音楽・eコマース・クリックストリームの異なるドメインとコールドスタート領域でどのように性能に影響するか。
• RQ4 Hyperparametersが最適化された状態で、Meta-Prod2VecはSGNSと比較してどうなるのか。

主な発見

モデル	30Music HR@10	30Music NDCG@10	Deezer HR@10	Deezer NDCG@10	E-commerce HR@10	E-commerce NDCG@10	Click-stream HR@10	Click-stream NDCG@10
Out-of-the-box SGNS	11.16 ± 0.1	0.099 ± 0.001	8.13 ± 0.1	0.061 ± 0.004	22.21 ± 0.1	0.159 ± 0.001	3.07 ± 0.1	0.018 ± 0.001
Optimized SGNS	22.24 ± 0.1	0.166 ± 0.001	14.43 ± 0.1	0.100 ± 0.001	26.17 ± 0.1	0.181 ± 0.001	24.14 ± 0.5	0.130 ± 0.003
Fully optimized SGNS	23.75 ± 0.1	0.174 ± 0.001	15.73 ± 0.1	0.108 ± 0.001	26.34 ± 0.1	0.183 ± 0.001	26.26 ± 0.2	0.147 ± 0.002
MetaProd2vec (Vasile et al., 2016)	19.41 ± 0.2	0.142 ± 0.001	14.24 ± 0.1	0.097 ± 0.001	-	-	-	-
Fully optimized MetaProd2vec	20.85 ± 0.1	0.152 ± 0.001	15.62 ± 0.1	0.108 ± 0.001	-	-	-	-

• ハイパーパラメータ最適化は、2つの音楽データセットでデフォルト値と比べて性能をほぼ2倍にする。
• α（負サンプリング分布）の最適化は大きな利益をもたらし、 studiedデータセットでは最適な α が負であり、NLPデフォルトの α = 0.75とは異なる。
• 最適構成は、2つの音楽データセットで類似の α、サブサンプリング、および窓サイズを共有しており、カウント分布が似ていることを反映している。
• 性能向上はデータセットごとに異なる；クリックストリームデータセットはハイパーパラメータ調整で最大で1桁の改善を見せ、Eコマースでも顕著な利益がある。
• Fully optimized SGNSはOut-of-the-box SGNSを上回り、音楽データセットではMeta-Prod2vecを上回ることが多いが、Cold-start状況ではMeta-Prod2vecが競合することもある。
• Cold-startテストでは、適切に最適化されたMetaProd2vecがSGNSの性能に近づく傾向があり、標準手法の最適化が専門的な手法と競合できることを示唆している。