[論文レビュー] Contrastive Graph Prompt-tuning for Cross-domain Recommendation

Zixuan Yi, Iadh Ounis+1 more|arXiv (Cornell University)|Aug 21, 2023

Recommender Systems and TechniquesComputer Science被引用数 3

ひとこと要約

本稿では、ユーザー固有のグラフプロンプト（ハードプロンプト：隣接アイテム、ソフトプロンプト：学習可能埋め込み）を用いて事前学習済みGNNを微調整する、パラメータ効率的なクロスドメインレコメンデーションフレームワークであるPersonalised Graph Prompt-tuning (PGPRec)を提案する。PGPRecは、最大74%の訓練可能パラメータ削減と、コールドスタート状況下で最も強力なベースライン比で11.41%の性能向上を達成し、優れた効率性と有効性を示している。

ABSTRACT

Recommender systems are frequently challenged by the data sparsity problem. One approach to mitigate this issue is through cross-domain recommendation techniques. In a cross-domain context, sharing knowledge between domains can enhance the effectiveness in the target domain. Recent cross-domain methods have employed a pre-training approach, but we argue that these methods often result in suboptimal fine-tuning, especially with large neural models. Modern language models utilize prompts for efficient model tuning. Such prompts act as a tunable latent vector, allowing for the freezing of the main model parameters. In our research, we introduce the Personalised Graph Prompt-based Recommendation (PGPRec) framework. This leverages the advantages of prompt-tuning. Within this framework, we formulate personalized graph prompts item-wise, rooted in items that a user has previously engaged with. Specifically, we employ Contrastive Learning (CL) to produce pre-trained embeddings that offer greater generalizability in the pre-training phase, ensuring robust training during the tuning phase. Our evaluation of PGPRec in cross-domain scenarios involves comprehensive testing with the top-k recommendation tasks and a cold-start analysis. Our empirical findings, based on four Amazon Review datasets, reveal that the PGPRec framework can decrease the tuned parameters by as much as 74%, maintaining competitive performance. Remarkably, there's an 11.41% enhancement in performance against the leading baseline in cold-start situations.

研究の動機と目的

• データスパarsityが低い状況でも全モデルパラメータを更新する従来の微調整の非効率性を解消すること。
• 効率的なチューニング機構を用いて、ソースドメインからターゲットドメインへ知識を転送することで、コールドスタートユーザーのレコメンデーション性能を向上させること。
• グラフニューラルネットワークの微調整における訓練可能パラメータ数を削減しながら、性能を維持または向上させること。
• ハードプロンプト（隣接アイテム）とソフトプロンプト（学習可能埋め込み）を組み合わせたパーソナライズドグラフプロンプトの有効性を、クロスドメイン設定における表現学習の向上に寄与するかを検証すること。

提案手法

• 事前学習段階で対照的学習を採用し、ドメイン間で一般化可能で頑健な埋め込みを向上させる。
• ユーザーが相互作用したアイテムに基づいて、ユーザー固有のグラフコンテキストを構築するユーザー固有のグラフプロンプトを構成する。
• ハードプロンプトはユーザーの相互作用グラフ内の実際の隣接アイテムから得られ、ソフトプロンプトは学習可能な埋め込みベクトルである。
• プロンプトチューニングは、事前学習済みGNNを固定し、プロンプト埋め込みのみをチューニングすることで、パラメータ更新を著しく削減する。
• これらのプロンプトをグラフニューラルネットワークに統合し、ターゲットドメインにおけるユーザーおよびアイテム表現を精緻化する。
• 2段階のプロセスを採用する：まずソースドメインで対照的学習による事前学習を行い、次にGNN重みを固定した状態でターゲットドメインでプロンプトチューニングを実施する。

実験結果

リサーチクエスチョン

• RQ1 全微調整と比較して、パーソナライズドグラフプロンプトはクロスドメインレコメンデーションの効率性と有効性を向上させることができるか？
• RQ2 ハードプロンプト（隣接アイテム）とソフトプロンプト（学習可能埋め込み）は、個別および併合して性能にどのように寄与するか？
• RQ3 PGPRecフレームワークは、競争力のある性能を維持しながら、訓練可能パラメータ数をどの程度削減できるか？
• RQ4 このフレームワークは、クロスドメイン設定におけるコールドスタートユーザーのレコメンデーション性能を顕著に向上させるか？

主な発見

• Elec-Clothデータセットにおいて、PGPRecは最も強力なベースライン（SGL PT）と比較して、訓練可能パラメータ数を最大74%削減した。
• Sport-Clothデータセットのコールドスタート状況において、PGPRecはSGL PT比で11.41%の性能向上を達成し、スパースユーザーへの一般化能力が優れていることを示した。
• Elec-Phoneデータセットでは、PGPRecがSGL PTと比較してコールドスタートユーザーの性能を8.27%向上させ、低データ環境下での有効性を強調した。
• 5つのハードプロンプトと3つのソフトプロンプトを有するPGPRecのバリエーションが最良の全体的性能を達成し、ハードプロンプトがソフトプロンプトよりも顕著に寄与していることを示した。
• Elec-Phoneデータセットでは、PGPRecが全微調整と比較して31%速くチューニングを完了した。これは、トレーニング効率性を確認するものである。
• アブレーションスタディの結果、ハードプロンプトが性能向上の主因であり、ソフトプロンプトはわずかな改善に留まっていることが確認された。