[논문 리뷰] Recommender Systems with Generative Retrieval

Shashank Rajput, Nikhil Mehta외 11명|arXiv (Cornell University)|2023. 05. 08.

Recommender Systems and Techniques인용 수 27

한 줄 요약

이 논문은 RQ-VAE로 생성된 시맨틱 ID를 사용하여 Transformer seq2seq 모델을 학습해 다음 아이템의 시맨틱 ID를 예측하는 생성적 검색 프레임워크 TIGER를 소개하며, 여러 데이터셋에서 SOTA를 달성하고 콜드 스타트와 다양한 추천을 가능하게 한다.

ABSTRACT

Modern recommender systems perform large-scale retrieval by first embedding queries and item candidates in the same unified space, followed by approximate nearest neighbor search to select top candidates given a query embedding. In this paper, we propose a novel generative retrieval approach, where the retrieval model autoregressively decodes the identifiers of the target candidates. To that end, we create semantically meaningful tuple of codewords to serve as a Semantic ID for each item. Given Semantic IDs for items in a user session, a Transformer-based sequence-to-sequence model is trained to predict the Semantic ID of the next item that the user will interact with. To the best of our knowledge, this is the first Semantic ID-based generative model for recommendation tasks. We show that recommender systems trained with the proposed paradigm significantly outperform the current SOTA models on various datasets. In addition, we show that incorporating Semantic IDs into the sequence-to-sequence model enhances its ability to generalize, as evidenced by the improved retrieval performance observed for items with no prior interaction history.

연구 동기 및 목표

• 전통적인 질의-후보 매칭을 넘어 후보 ID를 직접 생성하도록 순차 추천기가 동기를 부여한다.
• 아이템에 대한 새로운 시맨틱 ID 표현을 제안하여 시맨틱 공유와 확장 가능한 인덱싱을 가능하게 한다.
• 사용자 시퀀스로부터 다음 아이템의 시맨틱 ID를 예측하는 Transformer 기반 생성적 검색 모델을 개발한다.
• 콜드 스타트 및 다양한 추천을 포함한 향상된 검색 성능과 일반화 능력을 입증한다.

제안 방법

• 아이템의 콘텐츠 임베딩에서 얻은 이산 코드워드의 튜플로 시맨틱 ID를 도입한다.
• 잔차 양자화 VAE(RQ-VAE)를 사용하여 아이템 콘텐츠 임베딩을 다중 수준 코드워드 튜플로 양자화한다.
• 사용자 히스토리로부터 다음에 상호작용한 아이템의 시맨틱 ID를 예측하기 위해 Transformer 기반의 시퀀스-투-시퀀스 모델을 훈련한다.
• 각 아이템을 4토큰 시맨틱 ID로 표현한다(세 개의 코드워드는 RQ-VAE에서, 충돌을 방지하기 위한 고유한 네 번째 토큰).
• 인코더 입력에 사용자 토큰을 포함하여 추천을 개인화한다.
• T5X 기반 인코더-디코더에서 시맨틱 ID에 대해 1024 토큰의 어휘와 사용자 ID에 대해 2000 토큰의 어휘를 사용하여 엔드투엔드로 학습 가능하게 한다.

실험 결과

연구 질문

• RQ1 시맨틱 ID를 활용한 생성적 검색이 전통적인 듀얼 인코더 방식에 비해 순차 추천을 향상시킬 수 있는가?
• RQ2 콘텐츠 기반 시맨틱 ID가 상호작용 기록이 거의 없거나 전혀 없는 아이템에 대한 일반화를 개선하고(콜드스타트) 다양한 추천을 지원하는가?
• RQ3 RQ-VAE 기반 시맨틱 ID 생성이 해싱 기반 또는 무작위 ID 접근법과 검색 품질 측면에서 어떻게 비교되는가?

주요 결과

• TIGER는 세 가지 Amazon 데이터셋(Beauty, Sports & Outdoors, Toys & Games)에서 Recall@5/10 및 NDCG@5/10 전반에 걸쳐 최첨단 baselines를 지속적으로 능가한다.
• Beauty 데이터셋에서 TIGER는 두 번째 최적 베이스라인 대비 NDCG@5에서 최대 29% 향상, Recall@5에서 S3-Rec 대비 17.3% 향상을 달성한다.
• Toys & Games에서 TIGER는 NDCG@5에서 21%, NDCG@10에서 15% 더 나은 성능을 보인다.
• RQ-VAE 시맨틱 ID가 LSH 또는 Random ID보다 더 나은 검색 성능을 보이며, LSH와 Random ID는 데이터셋 전반에서 성능이 더 떨어진다.
• 이 프레임워크는 시맨틱 정보를 활용하여 콜드스타트 추천을 가능하게 하며, 다양성은 온도 기반 디코딩으로 제어할 수 있다.