[논문 리뷰] Tenrec: A Large-scale Multipurpose Benchmark Dataset for Recommender Systems

Guanghu Yuan, Fajie Yuan외 10명|arXiv (Cornell University)|2022. 10. 13.

Recommender Systems and Techniques인용 수 27

한 줄 요약

Tenrec은 Tencent의 대규모 다중 시나리오 벤치마크 데이터세트로, 네 가지 중첩 시나리오에서 다양한 유형의 사용자 피드백을 통해 다양한 추천 시스템 작업과 전이 학습을 평가합니다. 이 논문은 재현성을 위해 10개의 작업에 대한 데이터, 코드 및 리더보드를 게시합니다.

ABSTRACT

Existing benchmark datasets for recommender systems (RS) either are created at a small scale or involve very limited forms of user feedback. RS models evaluated on such datasets often lack practical values for large-scale real-world applications. In this paper, we describe Tenrec, a novel and publicly available data collection for RS that records various user feedback from four different recommendation scenarios. To be specific, Tenrec has the following five characteristics: (1) it is large-scale, containing around 5 million users and 140 million interactions; (2) it has not only positive user feedback, but also true negative feedback (vs. one-class recommendation); (3) it contains overlapped users and items across four different scenarios; (4) it contains various types of user positive feedback, in forms of clicks, likes, shares, and follows, etc; (5) it contains additional features beyond the user IDs and item IDs. We verify Tenrec on ten diverse recommendation tasks by running several classical baseline models per task. Tenrec has the potential to become a useful benchmark dataset for a majority of popular recommendation tasks.

연구 동기 및 목표

• 대규모 다목적 RS 벤치마크가 실제 사용자 피드백 다양성을 반영해야 한다는 필요성을 동기화한다.
• 네 가지 시나리오와 여러 피드백 유형을 가진 겹치는 사용자/아이템을 갖춘 공개 데이터셋 모음으로 Tenrec를 소개한다.
• 기본 모델을 사용하여 열 가지 서로 다른 추천 작업의 유틸리티를 입증한다.
• 재현성 및 커뮤니티 벤치마킹을 촉진하기 위해 공개 코드, 데이터, 리더보드를 제공한다.

제안 방법

• 네 가지 시나리오(QK-video, QK-article, QB-video, QB-article)에서 Tencent QK/QB 플랫폼으로부터 약 500만 명의 사용자와 약 1.4억 개의 인터랙션을 수집한다.
• 다양한 긍정 피드백 유형(click, like, share, follow, read, favorite)과 실제 부정 피드백(exposures with no action)을 포함한다.
• ID를 넘나드는 특징뿐만 아니라 사용자/아이템 피처를 포함하고 겹치는 사용자/아이템을 통해 도메인 간 및 전이 학습 실험을 가능하게 한다.
• 전통적 베이스라인과 표준 분할(8:1:1)을 사용하여 CTR 예측, 세션 기반 추천, 다중 작업 학습, 도메인 간 추천, 사용자 프로필 예측, 콜드 스타트, 평생 사용자 표현, 모델 압축, 학습 속도 향상, 추론 속도 향상의 열 가지 작업을 평가한다.
• 각 시나리오에 대해 프라이버시 보호를 위한 비식별화된 특징과 타임스탬프 제거를 포함한 데이터 형식을 제공하고, 재현성을 위해 데이터세트, 코드 및 리더보드를 공개한다.

실험 결과

연구 질문

• RQ1 Tenrec가 전통적인 단일 작업 데이터세트 이상으로 다수의 RS 작업에 대한 포괄적 벤치마크가 될 수 있는가?
• RQ2 교차 도메인, 다중 작업, 전이 학습 방법이 Tenrec의 겹치는 사용자/아이템에서 평가될 때 어떤 성능을 보이는가?
• RQ3 실제 대규모 RS 데이터에서 모델 압축, 학습 속도 향상, 추론 속도 향상의 이점과 트레이드오프는 무엇인가?
• RQ4 현실적인 피드백 유형(부정 피드백 포함)이 한 가지 클래스 피드백 데이터셋에 비해 CTR 및 순위 성능을 얼마나 개선하는가?
• RQ5 Tenrec가 다양한 RS 작업에서 재현 가능한 평가와 공정성을 얼마나 촉진할 수 있는가?

주요 결과

• Tenrec은 열 가지 서로 다른 작업에 걸쳐 평가를 가능하게 하고, 교차 도메인 및 전이 학습 실험을 지원한다.
• 기준 모델은 작업 간에 경쟁적인 성능을 달성하여 Tenrec가 데이터 소스가 아닌 벤치마크로 적합함을 보여준다.
• 더 큰 Tenrec 부분집합에서의 사전 학습 및 전이 학습은 관련 작업 및 콜드 스타트 시나리오의 성능을 향상시킨다.
• CpRec를 이용한 모델 압축은 정확도 손실이 최소인 범위에서 매개변수를 크게 감소시킬 수 있다.
• 학습 속도 향상 및 추론 속도 향상 기법(StackRec, SkipRec)은 성능 저하가 제한적이거나 없으면서 계산과 지연을 크게 줄인다.
• 겹치는 사용자/아이템과 다형 피드백은 실제 데이터에서 교차 도메인, 평생 표현, 다중 작업 학습 연구를 가능하게 한다.