[논문 리뷰] Personalized Re-ranking for Improving Diversity in Live Recommender Systems

Yichao Wang, Xiangyu Zhang외 5명|arXiv (Cornell University)|2020. 04. 14.

Recommender Systems and Techniques참고 문헌 22인용 수 7

한 줄 요약

이 논문은 정확도를 희생시키지 않은 채 실시간 추천 시스템에서 다양성을 향상시키기 위해 개인화된 결정성 점프 프로세스(pDPP) 기반의 개인화된 재순서 정렬 모델을 제안한다. 개별 사용자 선호도를 다양성에 대해 모델링함으로써, 오프라인 및 온라인 A/B 테스트에서 표준 DPP 및 기준 모델보다 뛰어난 성능을 보이며 다양성 지표와 사용자 참여도를 크게 향상시킨다.

ABSTRACT

Users of industrial recommender systems are normally suggesteda list of items at one time. Ideally, such list-wise recommendationshould provide diverse and relevant options to the users. However, in practice, list-wise recommendation is implemented as top-N recommendation. Top-N recommendation selects the first N items from candidates to display. The list is generated by a ranking function, which is learned from labeled data to optimize accuracy.However, top-N recommendation may lead to suboptimal, as it focuses on accuracy of each individual item independently and overlooks mutual influence between items. Therefore, we propose a personalized re-ranking model for improving diversity of the recommendation list in real recommender systems. The proposed re-ranking model can be easily deployed as a follow-up component after any existing ranking function. The re-ranking model improves the diversity by employing personalized Determinental Point Process (DPP). DPP has been applied in some recommender systems to improve the diversity and increase the user engagement.However, DPP does not take into account the fact that users may have individual propensities to the diversity. To overcome such limitation, our re-ranking model proposes a personalized DPP to model the trade-off between accuracy and diversity for each individual user. We implement and deploy the personalized DPP model on alarge scale industrial recommender system. Experimental results on both offline and online demonstrate the efficiency of our proposed re-ranking model.

연구 동기 및 목표

• 독립적인 아이템 스코어링으로 인해 빈번히 중복되고 다각도가 떨어지는 리스트를 생성하는 산업 시스템에서의 top-N 추천 성능이 열악한 문제를 해결한다.
• 기존 DPP 기반 방법이 다양성에 대한 균일한 사용자 수요를 가정하는 데서 비롯되는 제약을 극복한다. 이는 실제 사용자 행동을 반영하지 못한다.
• 기존의 어떤 순서 정렬 기능 뒤에 쉽게 통합할 수 있는 재순서 정렬 컴포넌트를 설계하여, 생상 환경에서의 백워드 호환성과 낮은 배포 리스크를 확보한다.
• 사용자 행동 이력에서 파생된 개인화된 다양성 선호도를 활용해 관련성과 다양성의 개인화된 트레이드오프를 모델링함으로써 관련성과 다양성의 균형을 향상시킨다.
• 실제 산업 추천 시스템에서의 오프라인 평가 및 대규모 온라인 A/B 테스트를 통해 제안된 방법의 효과성을 입증한다.

제안 방법

• 개별 사용자에 대한 다양성 선호도를 역사적 상호작용 패턴에서 개인의 다양성 수요를 추정함으로써 개인화된 DPP(pDPP) 모델을 제안한다.
• 항목 관련성 스코어와 쌍별 유사도를 조합한 커널 행렬을 DPP 설정에 사용하며, 각 사용자별로 다양성을 제어하는 개인화된 스케일링 인자 α₀를 도입한다.
• 최소 엔트로피 기준 ℋ_min을 정의하는 데 사용되는 학습 가능한 파라미터 l을 도입하여, 사용자별 다운로드 이력 엔트로피 기반으로 기본 다양성 수준을 설정한다.
• 기존의 어떤 순서 정렬 기능 뒤에 pDPP를 후처리 재순서 정렬 레이어로 배포함으로써 원래의 관련성 스코어를 유지하면서도 리스트의 다양성을 향상시킨다.
• 오프라인 평가를 통해 하이퍼파라미터 α₀를 校정하여 관련성과 다양성의 균형을 맞추며, MovieLens 1M 및 Company 데이터셋에서의 성능 기반으로 α₀ = 0.6을 최적의 값으로 선정한다.
• 실제 대규모 산업 추천 시스템에서 온라인 A/B 테스트를 수행하여 pDPP를 BASE 및 표준 DPP 모델과 비교하며 실제 세계 지표를 사용한다.

실험 결과

연구 질문

• RQ1 개별 사용자의 다양성 선호도 차이를 고려한 재순서 정렬 모델이 관련성 저하 없이 추천 리스트의 다양성을 향상시킬 수 있는가?
• RQ2 DPP 기반 재순서 정렬에서 균일한 다양성 가정 대비 개인화된 다양성 모델링이 오프라인 및 온라인 성능에서 어떻게 비교되는가?
• RQ3 실제 산업 시스템에서 개인화된 재순서 정렬은 다운로드 비율 및 사용자당 평균 다운로드 수와 같은 사용자 참여도 및 비즈니스 지표를 얼마나 향상시킬 수 있는가?
• RQ4 희소하거나 매우 집중적인 행동 이력이 있는 사용자에게서 개인화된 다양성 수요가 재순서 정렬의 효과성에 미치는 영향은 어떠한가?
• RQ5 기존 순서 정렬 파이프라인을 대체하지 않고도 모듈러하고 플러그인 방식의 재순서 정렬 컴포넌트를 생산 환경에 효과적으로 구현할 수 있는가?

주요 결과

• 온라인 A/B 테스트에서 pDPP는 BASE 모델 대비 ILD 기준 4.32% 상대적 향상을 기록했으며, 표준 DPP보다 0.26%포인트 높은 성능을 보였다.
• pDPP는 사용자 참여도 지표를 향상시켰다: BASE 모델 대비 다운로드 비율은 6.52% 증가하고, 사용자당 평균 다운로드 수는 3.54% 증가했다.
• MovieLens 1M 데이터셋에서 l=0일 경우 pDPP가 최적의 균형을 이룩했으며, BASE 모델과 동일한 관련성(P@5 = 0.7051)을 유지하면서 다양성(ILD@5 = 0.6179)을 향상시켰다.
• α₀ = 0.6일 경우 오프라인 평가에서 avg(P@5, ILD@5) 기준 최고 성능를 기록하여 정확성과 다양성 간 최적의 트레이드오프를 확인했다.
• 오프라인 성능 대비 온라인 결과에서의 성과 향상 폭은 다소 작지만, App Store의 높은 일일 거래량을 감안할 때 pDPP 모델은 매년 수백만 달러의 비즈니스 가치를 창출한다.
• 매우 희소한 행동 이력(예: 한 번의 다운로드만)을 가진 사용자들은 다양성 선호도 추정에 한계를 가짐으로써, pDPP와 DPP 간의 온라인 성과 격차가 작아지는 것을 설명할 수 있다.