[논문 리뷰] User-Sensitive Recommendation Ensemble with Clustered Multi-Task Learning

Menghan Wang, Xiaolin Zheng외 1명|arXiv (Cornell University)|2018. 04. 28.

Recommender Systems and Techniques참고 문헌 14인용 수 3

한 줄 요약

이 논문은 예측 패턴을 기반으로 사용자를 군집화하고, 군집화된 다중 작업 학습을 적용하여 개인화된 앙상블 가중치를 학습하는 사용자 민감한 추천 앙상블 방법 UREC를 제안한다. 이는 사용자 편향된 예측 오차를 크게 감소시킨다. UREC는 전통적인 앙상블 및 기본 모델을 능가하며, MovieLens-100K에서 79.11%의 승리 비율을 기록하고 사용자 이질성과 새로운 사용자 문제에 대한 강건성을 보여준다.

ABSTRACT

This paper considers recommendation algorithm ensembles in a user-sensitive manner. Recently researchers have proposed various effective recommendation algorithms, which utilized different aspects of the data and different techniques. However, the "user skewed prediction" problem may exist for almost all recommendation algorithms -- algorithms with best average predictive accuracy may cover up that the algorithms may perform poorly for some part of users, which will lead to biased services in real scenarios. In this paper, we propose a user-sensitive ensemble method named "UREC" to address this issue. We first cluster users based on the recommendation predictions, then we use multi-task learning to learn the user-sensitive ensemble function for the users. In addition, to alleviate the negative effects of new user problem to clustering users, we propose an approximate approach based on a spectral relaxation. Experiments on real-world datasets demonstrate the superiority of our methods.

연구 동기 및 목표

• 전반적인 성능은 우수한데도 일부 사용자 집단에서는 성능이 떨어지는 추천 시스템의 사용자 편향된 예측 문제를 해결하기 위해.
• 모든 사용자에게 동일한 가중치를 적용하는 전통적 앙상블 방법의 한계를 극복하여 사용자 이질성을 간과하지 않기 위해.
• 알고리즘 예측 패턴을 기반으로 사용자를 동질적인 군집으로 그룹화하는 가용성 있고 신뢰할 수 있는 앙상블 전략을 개발하기 위해.
• 신규 사용자의 영향을 줄이기 위해 스펙트럴 리프레젠테이션 기반 근사 방법(UREC appr)을 도입하기 위해.

제안 방법

• 기본 추천 알고리즘(예: KNN, MF, SVD++)의 예측 차이를 기반으로 k-median을 사용해 사용자를 동질적인 그룹으로 군집화한다.
• 각 군집이 공통된 앙상블 가중치 세트를 공유하는 방식으로 앙상블 학습을 군집화된 다중 작업 학습 문제로 공식화한다.
• 정규화된 다중 작업 학습 프레임워크를 사용해 군집 간 앙상블 가중치를 동시에 최적화하여 일반화 능력을 향상시키고 과적합을 줄인다.
• 군집화 목표에 스펙트럴 리프레젠테이션을 적용해 UREC appr를 도입하며, 이는 계산 효율성이 뛰어나 신규 사용자 처리에 효과적이다.
• 사용자 수준의 성능 지표(예: RMSE)를 사용해 군집 유사도를 정의하고 군집화 과정을 안내한다.
• 군집화 목표의 볼록 리 릴랙세이션을 적용해 더 빠른 수렴과 확장성을 확보한 채 앙상블 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 사용자 예측 패턴을 기반으로 군집화하는 것이 앙상블의 공정성 향상과 사용자 편향된 성능 감소에 기여하는가?
• RQ2 사용자 이질성을 다룰 때 군집화된 다중 작업 학습은 전통적 앙상블 방법보다 얼마나 우수한가?
• RQ3 제안된 스펙트럴 리프레젠테이션(U REC appr)이 사용자 군집화에서 신규 사용자 문제를 얼마나 효과적으로 완화하는가?
• RQ4 사용자 민감한 앙상블 전략은 기준 모델 대비 사용자 수준 성능의 분산을 얼마나 줄이는가?
• RQ5 제안된 방법은 개별 모델 및 표준 스태킹 접근 방식보다 사용자 간 승리 비율을 더 높게 달성할 수 있는가?

주요 결과

• UREC는 MovieLens-100K 데이터셋에서 79.11%의 승리 비율을 기록했으며, Stacking user(79.11%)와 Stacking one(67.32%)를 능가해 뛰어난 사용자 수준의 공정성을 보였다.
• MovieLens-100K에서 UREC는 사용자 간 RMSE 분산을 0.0263으로 줄여 SVD++(0.0539)보다 유의미하게 낮춰 일관성 향상을 입증했다.
• UREC appr는 MovieLens-1M에서 67.29%의 승리 비율을 기록했으며, SVD++(58.81%)와 Stacking one(69.22%)를 능가해 강력한 일반화 능력을 보였다.
• UREC appr의 런타임은 MovieLens-100K에서 265초로, UREC(452초)보다 빠르게, 확장성 향상을 확인했다.
• UREC는 MovieLens-100K에서 기본 모델들 대비 78.47%의 승리 비율을 기록해 다양한 사용자 집단에서 일관된 우수성을 입증했다.
• UREC appr의 스펙트럴 리프레젠테이션은 신규 사용자 처리에 효과적이라, 쿨스타트 문제를 겪는 온라인 추천 시스템에 적합하다.