[論文レビュー] GAN-based Recommendation with Positive-Unlabeled Sampling

Yao Zhou, Jianpeng Xu+5 more|arXiv (Cornell University)|Dec 12, 2020

Advanced Image and Video Retrieval Techniques参考文献 41被引用数 5

ひとこと要約

本稿では、未ラベル付きのユーザ・アイテム相互作用を負例として扱うという限界を解消するため、正例・未ラベル例（PU）学習を用いたGANベースの推薦フレームワーク、PUREを提案する。教師付き識別器に不偏なPUリスク推定器を適用し、埋め込み空間における連続的サンプリングを可能にすることで、PUREはユーザおよびアイテムの真の潜在的分布を学習し、3つのベンチマークデータセットにおいて8つの順位付け指標で最先端の性能を達成した。

ABSTRACT

Recommender systems are popular tools for information retrieval tasks on a large variety of web applications and personalized products. In this work, we propose a Generative Adversarial Network based recommendation framework using a positive-unlabeled sampling strategy. Specifically, we utilize the generator to learn the continuous distribution of user-item tuples and design the discriminator to be a binary classifier that outputs the relevance score between each user and each item. Meanwhile, positive-unlabeled sampling is applied in the learning procedure of the discriminator. Theoretical bounds regarding positive-unlabeled sampling and optimalities of convergence for the discriminators and the generators are provided. We show the effectiveness and efficiency of our framework on three publicly accessible data sets with eight ranking-based evaluation metrics in comparison with thirteen popular baselines.

研究の動機と目的

• 未ラベル付きのユーザ・アイテム相互作用を負例として扱うという、従来の推薦システムにおける誤った仮定を是正すること。この仮定は、真の関連性分布を歪めることにつながる。
• 協調フィルタリングを、未ラベル付き相互作用が正例または負例の両方である可能性がある現実世界のデータをより適切に反映する正例・未ラベル例（PU）学習問題として定式化すること。
• 埋め込み空間における連続的サンプリングを通じて、ユーザおよびアイテムの埋め込みの連続的分布を学習するGANベースのフレームワークを開発すること。これにより、従来のGANベース手法における離散的サンプリングの制限を回避する。
• PU学習の使用を深層モデルにおいて理論的に正当化し、推定誤差の境界がタイトになることを証明するとともに、非負のリスク推定により過学習を低減すること。
• 実世界のデータセット上でPUREの有効性と効率性を実証し、複数の順位付け指標において13の強力なベースラインを上回ること。

提案手法

• 生成器が埋め込み空間におけるユーザ・アイテムタプルの連続的分布を学習するGANフレームワークを提案し、偽のユーザおよびアイテム埋め込みの滑らかで表現力のある生成を可能にする。
• 識別器を二値分類器として設計し、ユーザとアイテム間の関連性スコアを出力する。この識別器は、不偏なリスク推定器を用いたPU学習目的関数で訓練される。
• Kiryoら（2017）に従い、未ラベルデータの経験的リスクに非負の作用素を適用することで、負のリスク値を防ぎ、柔軟な深層モデルにおける過学習を低減する。
• 埋め込み空間におけるユーザおよびアイテムの両方の連続的サンプリングを導入することで、生成器の表現力が向上し、現実世界のスパースなデータのモデリングが改善される。
• 生成器と識別器はミニマックスゲームで訓練される：生成器は現実的で偽のユーザ・アイテムペアを生成することを目的とし、識別器はPU学習による一般化性能の向上を図り、本物と偽物を区別する。
• 理論的分析により、未ラベルサンプル数が下限で有界である場合、PU学習における推定誤差境界がPN学習よりもタイトになることが示された。これは、スパースな推薦データにおいてしばしば満たされる条件である。

実験結果

リサーチクエスチョン

• RQ1 PU学習を用いることで、未ラベル相互作用を負例と仮定するという誤った仮定を回避することで、推薦システムにおける深層生成モデルの性能が向上するか？
• RQ2 PU学習における非負のリスク推定器の使用が、推薦分野における深層ニューラルネットワークの一般化性能および収束性に与える影響は何か？
• RQ3 埋め込み空間におけるユーザおよびアイテムの両方の連続的サンプリングが、GANベースの推薦システムの表現力および性能にどれほど向上効果をもたらすか？
• RQ4 PUREは、現実世界のスパースなデータセットにおいて、既存のGANベースおよび非GANベースのベースラインを上回る順位付け性能を達成するか？
• RQ5 現実的なデータスパarsity条件のもとで、PU学習における推定誤差の境界がPN学習よりもタイトであるか？

主な発見

• PUREは、3つの公開データセットにおいて8つの順位付けベースの評価指標で13の最先端のベースラインを上回り、優れた有効性と効率性を示した。
• 理論的分析により、未ラベルサンプル数が下限で有界である場合、PU学習における推定誤差境界がPN学習よりもタイトになることが確認された。これは、現実世界のスパースな推薦データにおいても成り立つ。
• PU学習における非負のリスク推定器の使用により、深層モデルにおける過学習が効果的に低減され、柔軟なニューラルネットワークの安定した訓練が推薦設定で可能になった。
• 埋め込み空間におけるユーザおよびアイテムの両方の連続的サンプリングは、生成器が真の潜在的分布をモデル化する能力を顕著に向上させ、アイテムのみをサンプリングするか、離散的サンプリングを用いる手法を上回った。
• 実験的結果から、NDCG、MAP、Recall@Kといった複数の指標においてPUREが一貫した向上を示し、パーソナライズド順位付けタスクにおける頑健な性能を示した。
• 本フレームワークは特にデータが少ない環境（低データレジーム）で顕著に効果を発揮し、負例サンプリング仮定の限界が最も顕著に現れる状況において、PU学習の必要性を裏付けた。