[논문 리뷰] Contrastive Graph Prompt-tuning for Cross-domain Recommendation

Zixuan Yi, Iadh Ounis외 1명|arXiv (Cornell University)|2023. 08. 21.

Recommender Systems and TechniquesComputer Science인용 수 3

한 줄 요약

이 논문은 개인화된 그래프 프롬프트 템플릿(PGPRec)을 제안하며, 사용자별로 구성된 하드(이웃 항목) 및 소프트(학습 가능한 임베딩) 프롬프트를 사용하여 사전 훈련된 GNN을 미세조정하는 파rameter 효율적인 프레임워크를 제공한다. 이는 교차 도메인 추천에 있어 최대 74%의 학습 가능한 파라미터 감소와 함께 냉각 상태 시나리오에서 가장 강력한 베이스라인 대비 11.41%의 성능 향상을 달성하여 뛰어난 효율성과 효과성을 입증한다.

ABSTRACT

Recommender systems are frequently challenged by the data sparsity problem. One approach to mitigate this issue is through cross-domain recommendation techniques. In a cross-domain context, sharing knowledge between domains can enhance the effectiveness in the target domain. Recent cross-domain methods have employed a pre-training approach, but we argue that these methods often result in suboptimal fine-tuning, especially with large neural models. Modern language models utilize prompts for efficient model tuning. Such prompts act as a tunable latent vector, allowing for the freezing of the main model parameters. In our research, we introduce the Personalised Graph Prompt-based Recommendation (PGPRec) framework. This leverages the advantages of prompt-tuning. Within this framework, we formulate personalized graph prompts item-wise, rooted in items that a user has previously engaged with. Specifically, we employ Contrastive Learning (CL) to produce pre-trained embeddings that offer greater generalizability in the pre-training phase, ensuring robust training during the tuning phase. Our evaluation of PGPRec in cross-domain scenarios involves comprehensive testing with the top-k recommendation tasks and a cold-start analysis. Our empirical findings, based on four Amazon Review datasets, reveal that the PGPRec framework can decrease the tuned parameters by as much as 74%, maintaining competitive performance. Remarkably, there's an 11.41% enhancement in performance against the leading baseline in cold-start situations.

연구 동기 및 목표

• 낮은 데이터 희박성에도 불구하고 전체 모델 파라미터를 업데이트하는 기존의 미세조정 방식의 비효율성을 해결하기 위해.
• 효율적인 튜닝 메커니즘을 통해 소스 도메인에서 타겟 도메인으로 지식을 전이하여 냉각 상태 사용자의 추천 성능을 향상시키기 위해.
• 성능을 유지하거나 향상시키면서 그래프 신경망의 미세조정에서 학습 가능한 파라미터 수를 줄이기 위해.
• 하드(이웃 항목) 및 소프트(학습 가능한 임베딩) 프롬프트를 조합한 개인화된 그래프 프롬프트가 교차 도메인 환경에서 표현 학습을 향상시키는 데 효과적인지 조사하기 위해.

제안 방법

• 사전 훈련 단계에서 대비 학습을 적용하여 도메인 간 임베딩의 일반화 능력과 강건성을 향상시킨다.
• 사용자가 상호작용한 항목을 바탕으로 각 사용자별로 개인화된 그래프 프롬프트를 구성하여, 튜닝을 위한 사용자 전용 그래프 컨텍스트를 형성한다.
• 하드 프롬프트는 사용자 상호작용 그래프 내 실제 이웃 항목에서 유도되며, 소프트 프롬프트는 학습 가능한 임베딩 벡터이다.
• 프롬프트 템플릿 적용은 사전 훈련된 GNN을 고정하고 프롬프트 임베딩만 튜닝함으로써 파라미터 업데이트를 극도로 줄인다.
• 이 프롬프트들을 그래프 신경망에 통합하여 타겟 도메인에서 사용자 및 항목 표현을 개선한다.
• 이중 단계 프로세스를 사용한다: 첫 번째 단계는 대비 학습을 통해 소스 도메인에서의 사전 훈련, 두 번째 단계는 고정된 GNN 가중치를 유지한 채 타겟 도메인에서의 프롬프트 템플릿 튜닝.

실험 결과

연구 질문

• RQ1 전체 미세조정 대비 개인화된 그래프 프롬프트가 교차 도메인 추천의 효율성과 효과성에 기여하는가?
• RQ2 하드 프롬프트(이웃 항목)와 소프트 프롬프트(학습 가능한 임베딩)가 성능에 개별적으로 및 공동으로 기여하는 정도는?
• RQ3 PGPRec 프레임워크는 경쟁적인 성능을 유지하면서 학습 가능한 파라미터 수를 얼마나 줄이는가?
• RQ4 이 프레임워크는 교차 도메인 환경에서 냉각 상태 사용자에 대해 추천 성능을 뚜렷이 향상시키는가?

주요 결과

• Elec-Cloth 데이터셋에서 PGPRec는 가장 강력한 베이스라인(SGL PT) 대비 최대 74%의 학습 가능한 파라미터 감소를 기록했다.
• Sport-Cloth 데이터셋에서 냉각 상태 시나리오에서 PGPRec는 SGL PT 대비 11.41%의 성능 향상을 달성하여 희박한 사용자에 대한 뛰어난 일반화 능력을 입증했다.
• Elec-Phone 데이터셋에서 PGPRec는 SGL PT 대비 냉각 상태 사용자에 대해 8.27%의 성능 향상을 기록하여 낮은 데이터 환경에서의 효과성을 입증했다.
• 다섯 개의 하드 프롬프트와 세 개의 소프트 프롬프트를 가진 PGPRec 변형 버전이 최고의 전체 성능을 기록했으며, 이는 하드 프롬프트가 소프트 프롬프트보다 더 크게 기여하고 있음을 보여준다.
• Elec-Phone 데이터셋에서 PGPRec는 전체 미세조정 대비 31% 빠른 속도로 튜닝을 완료하여 학습 효율성을 확인했다.
• 제거 분석 결과 하드 프롬프트가 성능 향상의 주요 원동력이며, 소프트 프롬프트는 보조적인 개선 효과를 제공하는 것으로 확인되었다.