[論文レビュー] Contrastive Learning for Cold-Start Recommendation

Yinwei Wei, Xiang Wang+5 more|arXiv (Cornell University)|Jul 12, 2021

Recommender Systems and Techniques参考文献 52被引用数 13

ひとこと要約

本稿では、アイテムのコンテンツ特徴量と協調埋め込みの間の相互情報量を最大化することで、コールドスタート推薦を向上させる対照学習フレームワークであるCLCRecを提案する。協調学習を通じてユーザー・アイテムの相互作用シグナルとコンテンツ表現を同時に最適化することにより、4つのデータセットにおいてウォームスタートおよびコールドスタート推薦の両方で最先端の性能を達成した。

ABSTRACT

Recommending cold-start items is a long-standing and fundamental challenge in recommender systems. Without any historical interaction on cold-start items, CF scheme fails to use collaborative signals to infer user preference on these items. To solve this problem, extensive studies have been conducted to incorporate side information into the CF scheme. Specifically, they employ modern neural network techniques (e.g., dropout, consistency constraint) to discover and exploit the coalition effect of content features and collaborative representations. However, we argue that these works less explore the mutual dependencies between content features and collaborative representations and lack sufficient theoretical supports, thus resulting in unsatisfactory performance. In this work, we reformulate the cold-start item representation learning from an information-theoretic standpoint. It aims to maximize the mutual dependencies between item content and collaborative signals. Specifically, the representation learning is theoretically lower-bounded by the integration of two terms: mutual information between collaborative embeddings of users and items, and mutual information between collaborative embeddings and feature representations of items. To model such a learning process, we devise a new objective function founded upon contrastive learning and develop a simple yet effective Contrastive Learning-based Cold-start Recommendation framework(CLCRec). In particular, CLCRec consists of three components: contrastive pair organization, contrastive embedding, and contrastive optimization modules. It allows us to preserve collaborative signals in the content representations for both warm and cold-start items. Through extensive experiments on four publicly accessible datasets, we observe that CLCRec achieves significant improvements over state-of-the-art approaches in both warm- and cold-start scenarios.

研究の動機と目的

• 新規アイテムが歴史的相互作用を欠くため協調フィルタリングの恩恵を受けることができないというコールドスタート推薦の根本的課題に対処すること。
• 理論的根拠に欠けるか、コンテンツ特徴量と協調信号の依存関係を効果的にモデル化できない既存手法の限界を克服すること。
• 情報理論的視点からコールドスタートアイテム表現学習を再定式化し、協調埋め込みとアイテムコンテンツ表現の間の相互情報量を最大化すること。
• ウォームスタートおよびコールドスタート両方のアイテムに対して、コンテンツベースの表現に協調信号を保持する、シンプルだが効果的なフレームワークを開発すること。
• 相互情報量の最大化を通じてコンテンツ表現に協調知識を保持するという理論的裏付けを提供すること。

提案手法

• 協調埋め込み（U-I）とコンテンツ表現（R-E）の間の相互情報量を最大化することで、コールドスタート表現学習を情報理論的根拠に基づき再定式化する。
• ポジティブおよびネガティブサンプルのマイニングを通じて、U-IとR-Eの相互情報量を同時に最適化する対照学習ベースの目的関数を提案する。
• ポジティブおよびネガティブペアをユーザー・アイテムの相互作用とコンテンツ特徴から構造化するため、3モジュールフレームワーク（対照ペアの構成、対照埋め込みネットワーク、対照最適化モジュール）を設計する。
• 類似した意味的表現（ポジティブペア）を引き寄せ、類似しない表現（ネガティブペア）を遠ざけるために、対照損失（例：InfoNCE）を用いることで、勾配消失を防止する。
• 共同埋め込み空間を介してコンテンツ特徴量と協調信号を統合し、協調知識をコールドスタートアイテムに伝達可能にする。
• 最適化の安定性と表現品質を向上させるためにハードネガティブマイニングを採用し、モデルの一般化能力を強化する。

実験結果

リサーチクエスチョン

• RQ1 協調埋め込みとコンテンツ表現の間の相互情報量最大化が、コールドスタート推薦を効果的に改善できるか？
• RQ2 対照学習は、コールドスタートアイテムのコンテンツベース表現に協調信号をどのように保持するのだろうか？
• RQ3 ユーザー・アイテム相互作用シグナルとコンテンツ特徴量を同時に最適化することで、ウォームスタートおよびコールドスタート両方のシナリオでより良い性能が得られるか？
• RQ4 相互情報量を用いてコンテンツと協調信号の依存関係をモデル化することの理論的利点は何か？
• RQ5 ロバストネスに基づく手法や制約に基づく手法と比較して、CLCRecはコールドスタートアイテムの性能と一般化能力においてどのように差をつけるか？

主な発見

• CLCRecは、4つの公開データセットにおいて、ウォームスタートおよびコールドスタート推薦の両方で最先端のベースラインを顕著に上回った。
• AUCおよびNDCG指標において顕著な向上を達成し、協調信号をコールドスタートアイテムに伝達する対照学習の有効性を示した。
• ハードネガティブマイニングにより、トレーニングの安定性と性能が向上し、勾配消失を回避する対照最適化の利点が裏付けられた。
• 理論的分析により、表現学習の目的関数がU-IとR-Eの相互情報量の和によって下界を持つことが示され、本手法に堅固な理論的基盤が与えられた。
• CLCRecは、協調信号をコンテンツ表現に効果的に保持でき、歴史的相互作用のないアイテムに対しても正確な予測が可能になった。
• 実験結果により、コンテンツと協調信号の間の相互情報量を最大化することが、未観測（コールドスタート）アイテムにおける優れた一般化能力をもたらすことが検証された。