[논문 리뷰] Zero-Shot Recommender Systems

Hao Ding, Yifei Ma외 3명|arXiv (Cornell University)|2021. 05. 18.

Recommender Systems and Techniques참고 문헌 37인용 수 14

한 줄 요약

이 논문은 자연어 기술을 사용해 연속적인 아이템 임베딩를 생성하고 사용자 선호도를 순차적 상호작용 패턴으로 모델링함으로써, 완전히 새로운 사용자와 아이템으로 일반화하는 제로샷 추천 시스템인 ZESRec을 제안한다. 세 개의 실세계 데이터셋 쌍에서 추천 성능이 뛰어나며, 겹치는 사용자나 아이템이 없는 조건에서도 효과적인 전이 학습을 보여준다.

ABSTRACT

Performance of recommender systems (RS) relies heavily on the amount of training data available. This poses a chicken-and-egg problem for early-stage products, whose amount of data, in turn, relies on the performance of their RS. On the other hand, zero-shot learning promises some degree of generalization from an old dataset to an entirely new dataset. In this paper, we explore the possibility of zero-shot learning in RS. We develop an algorithm, dubbed ZEro-Shot Recommenders (ZESRec), that is trained on an old dataset and generalize to a new one where there are neither overlapping users nor overlapping items, a setting that contrasts typical cross-domain RS that has either overlapping users or items. Different from categorical item indices, i.e., item ID, in previous methods, ZESRec uses items' natural-language descriptions (or description embeddings) as their continuous indices, and therefore naturally generalize to any unseen items. In terms of users, ZESRec builds upon recent advances on sequential RS to represent users using their interactions with items, thereby generalizing to unseen users as well. We study three pairs of real-world RS datasets and demonstrate that ZESRec can successfully enable recommendations in such a zero-shot setting, opening up new opportunities for resolving the chicken-and-egg problem for data-scarce startups or early-stage products.

연구 동기 및 목표

• 낮은 데이터량으로 인해 모델 성능이 제한되는 초기 단계 추천 시스템에서의 닭과 계란 문제를 해결하기 위해.
• 겹치는 사용자나 아이템가 없는 완전히 새로운 도메인으로의 일반화를 가능하게 하기 위해.
• 카테고리형 아이템 ID의 한계를 극복하기 위해 연속적이고 보편적인 아이템 표현 방식, 예를 들어 자연어 기술을 사용하기 위해.
• 사용자 상호작용 이력 기반으로 새로운 사용자로의 일반화를 위해 순차적 사용자 행동 모델링을 활용하기 위해.
• 공유된 의미적 표현을 통해 사용자 선호도 패턴을 도메인 간에 전이하는 통합 프레임워크 개발하기 위해.

제안 방법

• 아이템을 자연어 기술의 사전 학습된 BERT 기반 임베딩으로 표현하여 연속적이고 보편적인 식별자 공간을 생성하기 위해.
• 사용자 선호도를 아이템 상호작용 이력을 시퀀스로 인코딩하는 순차적 추천 아키텍처로 모델링하기 위해.
• 학습 시 볼 수 있는 사용자와 아이템이 있는 소스 도메인에서 모델을 훈련한 후, 완전히 새로운 사용자와 아이템이 있는 타겟 도메인에 직접 배포하기 위해.
• 보편적 임베딩을 사용해 훈련 데이터에 포함되지 않은 새로운 아이템에 대해 제로샷 추론을 가능하게 하기 위해.
• 일반화 가능한 사용자 행동 전이 패턴을 이력에서 다음 아이템으로의 전이에 우선시하기 위해 메타학습과 인덕티브 바이어스를 적용하기 위해.
• 임베딩 공간에서 의미적 유사도를 활용해 도메인 간 사용자 표현을 정렬하여, 새로운 사용자에게 추천하기 위해.

실험 결과

연구 질문

• RQ1 모델 훈련 시 완전히 새로운 사용자와 아이템이 있는 새로운 도메인으로 일반화할 수 있는가?
• RQ2 자연어 기술을 연속적 아이템 임베딩로 사용할 경우 제로샷 일반화에 얼마나 효과적인가?
• RQ3 순차적 사용자 행동 모델링이 제로샷 환경에서 새로운 사용자로의 일반화에 얼마나 기여하는가?
• RQ4 냉시작 조건에서 ZESRec은 도메인 내 기준 모델과 비교해 성능과 일반화 능력에서 어떻게 다른가?
• RQ5 ZESRec은 맛의 다양성과 같은 사용자 행동 패턴을 서로 다른 도메인 간에 학습하고 전이할 수 있는가?

주요 결과

• ZESRec은 세 개의 데이터셋 쌍 전반에서 HRNN-Meta와 HRNN-Interactions와 같은 도메인 내 모델보다 일관되게 뛰어난 성능을 보이며, 강력한 일반화 능력을 입증한다.
• 첫날 설정에서도 ZESRec은 도메인 내 모델과 비교해 합리적인 성능을 기록하며, 초기 단계 추천에서의 강건성을 보여준다.
• MIND NFL 쌍에서는 소스 도메인의 상호작용 수가 169K에 불과한 반면 타겟 도메인은 100만 건으로, 제한된 소스 데이터 조건에서도 효과적인 성능을 기록한다.
• 단지 1만 건의 타겟 상호작용으로만 증강 학습을 수행해도 ZESRec을 능가하지 못하며, 이는 초기 단계 시스템에서 제로샷 학습의 가치를 강조한다.
• 사례 연구 결과 ZESRec은 사용자가 당도한 스낵에서 허브 티로 전환하거나, 한 맛에서 다른 맛으로 이동하는 등의 의미 있는 행동 패턴을 학습하고, 이를 바탕으로 새로운 아이템을 성공적으로 추천함을 확인했다.
• 사용자가 이전에 열대 과일 맛 버전을 구매한 후, 베리 맛인 'V8 Splash'를 성공적으로 추천함으로써 맛 기반 선호도 패턴의 전이가 가능함을 입증했다.