[논문 리뷰] One4all User Representation for Recommender Systems in E-commerce

Kyuyong Shin, Kwak, Hanock외 5명|arXiv (Cornell University)|2021. 05. 24.

Recommender Systems and Techniques참고 문헌 34인용 수 8

한 줄 요약

이 논문은 0.8억 건의 전자상거래 사용자 행동 데이터를 기반으로 사전 훈련한 일반 목적의 사용자 표현 모델인 ShopperBERT를 제안한다. 이 모델은 다양한 후행 작업을 위한 통합 임베딩을 생성한다. 9개의 사전 학습 과제를 통해 학습함으로써, ShopperBERT의 사전 훈련된 임베딩은 여섯 가지 추천 및 프로파일링 과제 중 다섯 과제에서 작업에 특화된 지도 학습 특징과 강력한 베이스라인을 모두 능가하며, 뛰어난 일반화 능력과 계산 효율성을 입증한다.

ABSTRACT

General-purpose representation learning through large-scale pre-training has shown promising results in the various machine learning fields. For an e-commerce domain, the objective of general-purpose, i.e., one for all, representations would be efficient applications for extensive downstream tasks such as user profiling, targeting, and recommendation tasks. In this paper, we systematically compare the generalizability of two learning strategies, i.e., transfer learning through the proposed model, ShopperBERT, vs. learning from scratch. ShopperBERT learns nine pretext tasks with 79.2M parameters from 0.8B user behaviors collected over two years to produce user embeddings. As a result, the MLPs that employ our embedding method outperform more complex models trained from scratch for five out of six tasks. Specifically, the pre-trained embeddings have superiority over the task-specific supervised features and the strong baselines, which learn the auxiliary dataset for the cold-start problem. We also show the computational efficiency and embedding visualization of the pre-trained features.

연구 동기 및 목표

• 다양한 전자상거래 후행 과제, 예를 들어 사용자 프로파일링, 타겟팅, 추천 등에 적용 가능한 일반 목적의 사용자 표현 모델을 개발하는 것.
• 대규모 사용자 행동 시퀀스를 기반으로 사전 훈련하는 것이, 초기부터 모델을 훈련하는 것과 비교해 일반화 능력을 향상시키는지 평가하는 것.
• 전자상거래 환경에서 강력하고 이식 가능한 사용자 임베딩을 학습하기 위해 다중 과제 사전 학습 전략의 효과성을 탐구하는 것.
• 시각화를 통해 학습된 사용자 임베딩의 해석 가능성과 계산 효율성을 평가하는 것.
• 사전 훈련된 임베딩의 성능을 작업에 특화된 지도 학습 특징과 기존의 콜드 스타트 베이스라인과 비교하는 것.

제안 방법

• BERT 아키텍처를 기반으로 하며, 전자상거래 플랫폼에서 두 해 동안 수집한 0.8억 건의 사용자 행동 데이터를 기반으로 사전 훈련된다.
• 다양한 사용자 행동 패턴과 잠재된 사용자 선호도를 포괄하기 위해 동시에 9개의 사전 학습 과제를 학습한다.
• 후행 과제에 대한 미세조정 이후 [CLS] 토큰 표현에서 최종 사용자 임베딩을 유도한다.
• 사전 훈련은 명시적인 레이블 없이 수행되며, 순차적 사용자 행동 패턴을 모델링하기 위해 자기 지도 학습 목표에 의존한다.
• 각 후행 과제에 대해 간단한 다층 퍼셉트론(MLP) 헤드를 사용해 모델을 미세조정한다.
• 임베딩의 시각화와 추론 속도를 통해 해석 가능성과 계산 효율성을 평가한다.

실험 결과

연구 질문

• RQ1 단일한 일반 목적의 사용자 표현 모델이 다양한 전자상거래 후행 과제에 효과적으로 활용될 수 있는가?
• RQ2 대규모 비라벨 사용자 행동 시퀀스를 기반으로 사전 훈련하면, 초기부터 모델을 훈련하는 것보다 성능이 향상되는가?
• RQ3 사전 훈련된 임베딩의 성능은 작업에 특화된 지도 학습 특징과 기존의 콜드 스타트 베이스라인과 비교해 어떻게 되는가?
• RQ4 사전 훈련된 임베딩이 다양한 추천 및 프로파일링 과제에 얼마나 잘 일반화되는가?
• RQ5 실제 전자상거래 시스템에서 사전 훈련된 임베딩를 사용할 경우 계산 비용과 해석 가능성 간의 상호 보완적 특성은 어떠한가?

주요 결과

• ShopperBERT의 사전 훈련된 임베딩은 여섯 과제 중 다섯 과제에서 초기부터 복잡한 모델을 훈련한 것보다 성능이 뛰어나다.
• 사전 훈련된 임베딩은 콜드 스타트 문제 해결을 위해 보조 데이터셋을 사용하는 강력한 베이스라인을 초월한다.
• 단순한 MLP 헤드만을 사용해도 사용자 프로파일링, 타겟팅, 추천 과제에서 최신 기술 수준의 성능을 달성한다.
• 사전 훈련된 임베딩의 추론 속도와 계산 효율성은 초기부터 복잡한 모델을 훈련한 것보다 크게 뛰어나다.
• 학습된 임베딩의 시각화 결과는 의미 있는 클러스터링 패턴을 보이며, 사용자 행동 의미를 효과적으로 포착하고 있음을 시사한다.
• 다중 과제 사전 학습 전략은 다양한 전자상거래 응용 분야에서 사용자 표현의 일반화 능력을 효과적으로 향상시킨다.