[논문 리뷰] POSO: Personalized Cold Start Modules for Large-scale Recommender Systems

Shangfeng Dai, Hao-Bin Lin외 6명|arXiv (Cornell University)|2021. 08. 10.

Recommender Systems and Techniques참고 문헌 25인용 수 7

한 줄 요약

이 논문은 대규모 추천 시스템을 위한 새로운 모듈인 POSO를 제안하며, 사용자 냉시작 시 개인화가 약화되는 문제를 해결한다. 이는 사용자 그룹 전용 서브모듈과 개인화된 게이트를 활용하여, 불균형한 사용자 그룹 간의 균형을 맞추고 개인화된 특징을 기반으로 동적으로 라우팅함으로써, 계산 오버헤드를 거의 느끼지 않으면서 신규 사용자 시청 시간을 7.75% 향상시킨다. 이는 아이템 냉시작 및 비활성 사용자에게도 효과적으로 일반화된다.

ABSTRACT

Recommendation for new users, also called user cold start, has been a well-recognized challenge for online recommender systems. Most existing methods view the crux as the lack of initial data. However, in this paper, we argue that there are neglected problems: 1) New users' behaviour follows much different distributions from regular users. 2) Although personalized features are involved, heavily imbalanced samples prevent the model from balancing new/regular user distributions, as if the personalized features are overwhelmed. We name the problem as the "submergence" of personalization. To tackle this problem, we propose a novel module: Personalized COld Start MOdules (POSO). Considering from a model architecture perspective, POSO personalizes existing modules by introducing multiple user-group-specialized sub-modules. Then, it fuses their outputs by personalized gates, resulting in comprehensive representations. In such way, POSO projects imbalanced features to even modules. POSO can be flexibly integrated into many existing modules and effectively improves their performance with negligible computational overheads. The proposed method shows remarkable advantage in industrial scenario. It has been deployed on the large-scale recommender system of Kwai, and improves new user Watch Time by a large margin (+7.75%). Moreover, POSO can be further generalized to regular users, inactive users and returning users (+2%-3% on Watch Time), as well as item cold start (+3.8% on Watch Time). Its effectiveness has also been verified on public dataset (MovieLens 20M). We believe such practical experience can be well generalized to other scenarios.

연구 동기 및 목표

• 불균형한 샘플로 인해 개인화된 특징이 압도당하는 사용자 냉시작 시 개인화의 '침몰' 문제를 해결하기 위해.
• 모델 아키텍처에서 개인화를 강화함으로써 신규 사용자에 대한 추천 성능을 향상시키기 위해.
• 기존 아키텍처(Multi-layer Perceptron, Multi-head Attention, Multi-gated Mixture of Experts 등)에 쉽게 통합될 수 있는 유연하고 저비용의 모듈을 설계하기 위해.
• 신규 사용자 외에도 비활성, 재방문, 아이템 냉시작 시나리오로의 일반화를 가능하게 하기 위해.
• 실제 산업 환경과 공개 벤치마크에서 다양한 개인화 코드와 모듈 특화의 효과를 검증하기 위해.

제안 방법

• POSO는 특정 사용자 그룹에만 집중하는 사용자 그룹 전용 서브모듈을 도입하여, 각 모듈 간 샘플 분포가 균형을 이루도록 보장한다.
• 개인화된 특징(개인화 코드)에서 유도된 개인화된 게이트를 사용하여 서브모듈 출력을 동적으로 조합함으로써 표현 품질을 향상시킨다.
• 게이팅 메커니즘은 전적으로 개인화된 특징에 의해 결정되며, 이로 인해 불균형한 데이터에 의해 개인화된 특징가 압도당하는 것을 방지한다.
• POSO는 플러그인 모듈로 설계되어 Multi-layer Perceptron, Multi-head Attention, Multi-gated Mixture of Experts와 같은 기존 구성 요소와 호환된다.
• MHA의 경우, 학습된 게이트 벡터와의 원소별 곱셈을 통해 키와 밸류 행렬을 개인화함으로써 효율성을 유지한다.
• 경량이고 효과적인 표준 모듈의 개인화된 변형을 유도하기 위해 근사와 분석을 사용하여 계산 비용을 최소화한다.

실험 결과

연구 질문

• RQ1 심한 클래스 불균형이 존재하는 냉시작 시나리오에서 개인화된 특징을 효과적으로 활용할 수 있는가?
• RQ2 서브모듈의 아키텍처 특화가 불균형한 데이터에서 개인화의 침몰 현상을 완화하는가?
• RQ3 개인화 코드의 선택이 냉시작 설정에서 모델 성능에 어떤 영향을 미치는가?
• RQ4 POSO는 신규 사용자 외에도 비활성, 재방문, 아이템 냉시작 사용자에게 얼마나 효과적으로 일반화되는가?
• RQ5 표준 딥 러닝 모듈에 대해 상당한 계산 오버헤드 없이 효율적으로 통합될 수 있는가?

주요 결과

• Kwai 플랫폼에서 POSO는 신규 사용자 시청 시간을 7.75% 향상시켜 강력한 산업적 영향을 입증했다.
• 비활성 및 재방문 사용자에게도 일반화되어 시청 시간을 2%-3% 향상시켰다.
• 아이템 냉시작의 경우, 시청 시간에서 3.8%의 향상을 달성했다.
• 버킷화된 누적 시청 시간을 개인화 코드로 사용할 경우 가장 우수한 성능를 기록했으며, 단순 지표나 임베딩보다 뛰어났다.
• POSO의 서브모듈은 특화된다: 예를 들어, 신규 사용자에게는 한 게이트가 지배적이며, 활동이 증가함에 따라 다른 게이트가 주도권을 넘긴다.
• MHA에 가장 효과적인 POSO 변형은 쿼리를 고정하고 키와 밸류를 개인화하는 방식을 사용하며, 성능과 효율성의 균형을 잘 잡는다.