[논문 리뷰] Rank and Rate: Multi-task Learning for Recommender Systems

Guy Hadash, Oren Sar Shalom외 1명|arXiv (Cornell University)|2018. 07. 31.

Recommender Systems and Techniques참고 문헌 21인용 수 15

한 줄 요약

이 논문은 사용자의 이중 단계 의사결정 과정—먼저 항목과 상호작용할지 결정하는 것(랭킹)과 그 다음에 평점을 부여하는 것(평가 예측)—을 공유되는 사용자 및 항목 임베딩을 사용해 동시에 최적화함으로써, 사용자 행동의 순차성을 모델링하는 새로운 다중 작업 학습 프레임워크인 Rank and Rate(RnR)를 제안한다. 이 방법은 최신 기준 모델들보다 추천 성능을 크게 향상시키며, MovieLens 1M에서 Recall@10이 최대 12.36%에 이를 정도로 성능을 높이고, Yelp에서는 4.00%를 기록하여 협업 필터링에서 순차적 사용자 행동을 모델링하는 것의 가치를 입증한다.

ABSTRACT

The two main tasks in the Recommender Systems domain are the ranking and rating prediction tasks. The rating prediction task aims at predicting to what extent a user would like any given item, which would enable to recommend the items with the highest predicted scores. The ranking task on the other hand directly aims at recommending the most valuable items for the user. Several previous approaches proposed learning user and item representations to optimize both tasks simultaneously in a multi-task framework. In this work we propose a novel multi-task framework that exploits the fact that a user does a two-phase decision process - first decides to interact with an item (ranking task) and only afterward to rate it (rating prediction task). We evaluated our framework on two benchmark datasets, on two different configurations and showed its superiority over state-of-the-art methods.

연구 동기 및 목표

• 랭킹과 평가 예측을 별개로 다루는传통적인 단일 작업 추천 모델의 한계를 해결하기 위해.
• 사용자 행동의 순차성—먼저 항목을 선택하는 것(랭킹), 그 다음에 평점을 부여하는 것(평가 예측)—을 이중 단계 의사결정 과정으로 모델링하기 위해.
• 랭킹과 평가 예측 작업 간의 공유 표현을 통해 다중 작업 학습을 통해 추천 성능을 향상시키기 위해.
• 사용자 의사결정 역학을 고려하는 다중 작업 프레임워크에 명시적 평가 신호를 통합함으로써 더 우수한 일반화 및 정확도를 달성할 수 있음을 입증하기 위해.
• 기존의 랭킹 및 평가 예측 알고리즘에 대한 아키텍처 변경 없이도 적용 가능한 일반적이고 즉시 사용 가능한 프레임워크를 제공하기 위해.

제안 방법

• 랭킹 모델(예: CDAE 또는 BPR)과 평가 예측 모델(예: SVD)을 공유되는 사용자 및 항목 임베딩을 사용해 동시에 학습하는 다중 작업 학습 프레임워크를 제안한다.
• 사용자 의사결정 과정을 두 단계의 순차적 단계로 모델링한다: (1) 상호작용 선택(랭킹)과 (2) 명시적 평점 부여(평가 예측), 각각에 대해 별도의 손실 함수를 사용한다.
• 랭킹 및 평가 예측 손실의 가중 조합을 사용하며, 하이퍼파rameter α가 두 작업 간의 상호 보완성을 조절한다.
• 랭킹에 Collaborative Denoising Autoencoders(CDAE)를 사용하며, 사용자 신원과 노이즈 제거 정규화를 통해 부분 관측된 사용자 상호작용 기록을 재구성한다.
• 명시적 평점이 사용되지 않을 경우 랭킹에 Bayesian Personalized Ranking(BPR)을 적용하여 관측된 항목과 관측되지 않은 항목 간의 쌍별 랭킹을 최적화한다.
• 평가 예측에 SVD를 사용하며, 예측된 평점과 실제 평점 간의 제곱 오차를 최소화한다.
• 사용자 및 항목 벡터가 두 작업 전반에서 공동으로 최적화되는 공유 임베딩 공간을 활용하여, 두 작업 모두에 대한 표현 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 선택 이후 평점 부여의 순차적 과정을 모델링하는 이중 단계 의사결정 과정을 고려할 경우, 랭킹과 평가 예측을 별개로 다루는 것보다 추천 성능이 향상되는가?
• RQ2 랭킹과 평가 예측 간 공유 표현을 통해 다중 작업 학습을 적용할 경우, 단일 작업 또는 일반적인 다중 작업 기준 모델보다 더 나은 일반화 및 성능을 달성하는가?
• RQ3 순차적 사용자 행동을 모델링하는 다중 작업 프레임워크에 명시적 평가 신호를 통합할 경우, Recall@k 및 MRR@k와 같은 표준 추천 메트릭에서 성능에 어떤 영향을 미치는가?
• RQ4 제안된 프레임워크는 아키텍처 수정 없이 다양한 데이터셋과 다양한 기반 랭킹 및 평가 모델(예: CDAE + SVD, BPR + SVD)에 효과적으로 적용될 수 있는가?
• RQ5 이중 단계 모델링 접근 방식은 협업 필터링에서 데이터 희소성과 선택 편향의 영향을 어느 정도 줄일 수 있는가?

주요 결과

• 제안된 Rank and Rate(RnR) 프레임워크는 MovieLens 1M 데이터셋에서 Recall@10이 12.36%를 기록하며, 이는 다음으로 좋은 방법인 Vanilla CDAE+SVD(10.40%)와는 상당한 격차를 보이며, 인기 기반 베이스라인(2.78%)을 크게 앞서는 성과를 보였다.
• Yelp 2018 데이터셋에서는 RnR가 Recall@10에서 4.00%를 기록하여 Vanilla CDAE+SVD 기준(3.18%)과 인기 기반 베이스라인(1.66%)을 모두 앞서며, 다양한 도메인에서의 일관된 성능 향상을 입증했다.
• RnR 프레임워크는 MovieLens 1M에서 MRR@10을 0.0497로 향상시켜, 최고의 단일 작업 기준 모델(SVD, 0.0120)의 MRR를 두 배 이상 상회하며, 더 나은 랭킹 품질을 보여주었다.
• 모든 평가 메트릭과 데이터셋에서 RnR는 라이브러리 다중 작업 학습 및 단일 작업 기준 모델을 모두 초월하는 일관된 성능 향상을 보이며, 이중 단계 의사결정 과정을 모델링하는 것의 유용성을 확인했다.
• 성능 향상의 원인은 사용자 행동의 순차성—먼저 항목을 선택하고, 그 다음에 평점을 부여하는 것—을 공유되고 작업에 특화된 표현을 통해 효과적으로 활용할 수 있었기 때문으로 분석된다.
• 이 프레임워크는 일반적이며 다양한 기반 모델에 효과적이다: CDAE+SVD 기반 RnR와 BPR+SVD 기반 RnR 모두 각각의 라이브러리 다중 작업 기준 모델을 앞서며, 광범위한 적용 가능성을 보여준다.