[논문 리뷰] UPRec: User-Aware Pre-training for Recommender Systems

Chaojun Xiao, Ruobing Xie외 5명|arXiv (Cornell University)|2021. 02. 22.

Recommender Systems and Techniques참고 문헌 66인용 수 14

한 줄 요약

UPRec는 사용자 속성과 소셜 그래프와 같은 이질적인 사용자 정보를 두 가지 새로운 작업인 사용자 속성 예측 및 소셜 관계 탐지 통해 사전 훈련에 통합하는 사용자 인지 사전 훈련 프레임워크를 제안한다. 이러한 작업을 활용함으로써 UPRec은 특히 데이터가 희박한 상황에서 순차적 추천 성능을 크게 향상시키며, YELP와 같은 실세계 데이터셋에서 기존의 사전 훈련 모델을 능가한다.

ABSTRACT

Existing sequential recommendation methods rely on large amounts of training data and usually suffer from the data sparsity problem. To tackle this, the pre-training mechanism has been widely adopted, which attempts to leverage large-scale data to perform self-supervised learning and transfer the pre-trained parameters to downstream tasks. However, previous pre-trained models for recommendation focus on leverage universal sequence patterns from user behaviour sequences and item information, whereas ignore capturing personalized interests with the heterogeneous user information, which has been shown effective in contributing to personalized recommendation. In this paper, we propose a method to enhance pre-trained models with heterogeneous user information, called User-aware Pre-training for Recommendation (UPRec). Specifically, UPRec leverages the user attributes andstructured social graphs to construct self-supervised objectives in the pre-training stage and proposes two user-aware pre-training tasks. Comprehensive experimental results on several real-world large-scale recommendation datasets demonstrate that UPRec can effectively integrate user information into pre-trained models and thus provide more appropriate recommendations for users.

연구 동기 및 목표

• 행동 시퀀스 외의 이질적인 사용자 정보를 통합하여 순차적 추천에서의 데이터 희박성 문제를 해결하기 위해.
• 사용자 속성과 소셜 그래프를 효과적으로 활용할 수 있는 자기지도 사전 훈련 작업을 설계하기 위해.
• 기호적, 표 형식, 그래프 구조를 가진 사용자 데이터를 통합 인코더에 융합하여 사용자 표현 학습을 향상시키기 위해.
• 사용자 인지 사전 훈련이 표준 사전 훈련에 비해 더 나은 최종 추천 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• UPRec은 사용자 행동 시퀀스, 사용자 속성, 소셜 그래프를 동일한 임bedding 공간에서 처리하기 위해 통합된 트랜스포머 기반 인코더를 사용한다.
• 사용자 속성 예측 작업을 도입하여, 사용자의 행동 이력에서 누락된 프로필 특징을 모델이 예측하도록 한다.
• 대조 학습을 사용하여 소셜 그래프 내에서 실제 대조쌍과 부정적인 대조쌍을 구분하는 소셜 관계 탐지 작업을 설계한다.
• 마스킹 언어 모델링과 대조 목표를 사용하여 행동 시퀀스, 사용자 속성, 소셜 관계를 함께 사전 훈련한다.
• 두 가지 사용자 인지 사전 훈련 작업을 표준 클로즈 스타일 마스킹 아이템 예측 작업과 병합하는 다중 작업 학습 전략을 적용한다.
• 사전 훈련 후, 표준 최적화 방법을 사용하여 최종 순차적 추천 작업에서 미세 조정한다.

실험 결과

연구 질문

• RQ1 사용자 속성과 소셜 그래프와 같은 이질적인 사용자 정보를 통합하면 사전 훈련된 추천 모델의 성능이 향상되는가?
• RQ2 사용자 인지 사전 훈련 작업(속성 예측 및 소셜 관계 탐지)은 사용자 표현 학습 향상에 얼마나 효과적인가?
• RQ3 사용자 인지 목표로 사전 훈련하면 데이터 희박성 하에서 순차적 추천 성능이 향상되는가?
• RQ4 배치 크기 및 은닉 크기와 같은 하이퍼파라미터가 사용자 인지 사전 훈련 성능에 미치는 영향은 무엇인가?
• RQ5 UPRec은 순차적 추천을 초월한 다른 추천 작업으로 일반화될 수 있는가?

주요 결과

• UPRec은 YELP, Amazon, Diginom과 같은 다양한 실세계 데이터셋에서 순차적 추천 작업에서 최신 기술 수준의 성능을 달성하며, NDCG@10과 MRR에서 뚜렷한 향상을 보였다.
• 제거 실험을 통해 사용자 속성 예측 및 소셜 관계 탐지 작업 모두가 모델 성능 향상에 기여하며, 병합된 작업이 개별 구성 요소보다 더 우수한 성능을 보였다.
• UPRec은 사전 훈련 과정에서 빠르게 수렴하며, 첫 30 에포크 내에 상당한 성능 향상을 보여 이질적인 사용자 데이터로부터 효과적인 특징 학습이 이루어지고 있음을 시사한다.
• 사전 훈련 시 더 큰 배치 크기일수록 최종 성능이 향상되었으며, 128에서 768으로 증가할수록 성능 향상이 뚜렷하여 안정적이고 효율적인 최적화가 이루어지고 있음을 시사한다.
• YELP 데이터셋에서 최적의 은닉 크기는 96로 확인되었으며, 더 큰 크기(예: 160)는 과적합을 유도하고 성능 저하를 초래했다.
• 모델은 강력한 일반화 능력을 보이며, 낮은 데이터 환경에서도 성능 향상이 관찰되어 데이터 희박성 완화에 효과적임을 확인했다.