[논문 리뷰] ParVecMF: A Paragraph Vector-based Matrix Factorization Recommender System

Georgios Alexandridis, Georgios Siolas외 1명|arXiv (Cornell University)|2017. 06. 22.

Topic Modeling참고 문헌 9인용 수 8

한 줄 요약

이 논문은 사용자 리뷰의 Paragraph Vector 임베딩을 확률적 행렬 분해와 융합하여 협업 필터링을 향상시키는 하이브리드 추천 시스템인 ParVecMF를 제안한다. 가변 길이 리뷰의 신경망 임베딩을 사용자 및 아이템의 잠재 벡터에 융합함으로써 ParVecMF는 표준 SVD 기반 행렬 분해보다 MAP@N 및 MRR@N 기준으로 뛰어난 성능을 달성한다. 이는 사용자 생성 텍스트 피드백이 추천 정확도와 랭킹 품질을 향상시킨다는 것을 보여준다.

ABSTRACT

Review-based recommender systems have gained noticeable ground in recent years. In addition to the rating scores, those systems are enriched with textual evaluations of items by the users. Neural language processing models, on the other hand, have already found application in recommender systems, mainly as a means of encoding user preference data, with the actual textual description of items serving only as side information. In this paper, a novel approach to incorporating the aforementioned models into the recommendation process is presented. Initially, a neural language processing model and more specifically the paragraph vector model is used to encode textual user reviews of variable length into feature vectors of fixed length. Subsequently this information is fused along with the rating scores in a probabilistic matrix factorization algorithm, based on maximum a-posteriori estimation. The resulting system, ParVecMF, is compared to a ratings' matrix factorization approach on a reference dataset. The obtained preliminary results on a set of two metrics are encouraging and may stimulate further research in this area.

연구 동기 및 목표

• 평가 점수 외의 사용자 생성 텍스트 리뷰를 통합함으로써 추천 시스템 내 협업 필터링을 향상시키기 위해.
• 신경어휘 모델이 기존의 단어 기반 방법보다 사용자 선호도를 더 잘 표현할 수 있는지 탐구하기 위해.
• 최대 사후확률 추정 프레임워크 내에서 리뷰의 문단 벡터 임베딩을 행렬 분해와 융합하기 위해.
• 표준 지표를 사용하여 텍스트 리뷰 임베딩이 추천 성능에 미치는 영향을 평가하기 위해.
• 신경망 임베딩을 통해 포착된 사용자 리뷰 의미 정보가 행렬 분해의 잠재 표현을 향상시킬 수 있음을 보여주기 위해.

제안 방법

• 사용자 리뷰가 가변 길이 텍스트의 분포 표현을 학습하는 신경어휘 모델인 Paragraph Vector (PV-DM)를 사용하여 고정 길이의 밀집 벡터로 인코딩된다.
• 결과로 생성된 문단 벡터가 평가 행렬에서 학습된 사용자 및 아이템 잠재 요인과 확률적 행렬 분해 프레임워크 내에서 융합된다.
• 융합된 표현은 평가 데이터와 텍스트 임베딩을 통합한 유일한 잠재 공간에 최적화하기 위해 최대 사후확률(MAP) 추정을 통해 최적화된다.
• 모델은 평가 예측 손실과 문단 벡터 재구성 손실의 조합을 사용하여 엔드 투 엔드로 훈련된다.
• 두 모델을 비교한다: 동일한 데이터셋에서 리뷰를 포함한 ParVecMF와 리뷰 없이 SVD 기반의 표준 행렬 분해 모델.
• 평가에는 5겹 교차검증을 사용하며, 정확도와 랭킹을 평가하기 위해 MAP@N 및 MRR@N을 사용하고, 관련성은 5점 만점 중 4점 이상의 평가로 정의된다.

실험 결과

연구 질문

• RQ1 사용자 리뷰의 Paragraph Vector 임베딩이 행렬 분해 기반 추천 시스템의 성능을 향상시킬 수 있는가?
• RQ2 잠재 요인 학습에 사용자 생성 텍스트 피드백을 통합함으로써 추천의 랭킹과 정확도가 향상되는가?
• RQ3 오직 평가 점수만을 사용하는 전통적 협업 필터링과 비교해 리뷰에서 유도된 신경망 임베딩을 포함할 경우 어떤가?
• RQ4 더 높은 차원의 잠재 표현을 사용할수록 리뷰 임베딩의 성능 향상이 증가하는가?
• RQ5 신경어휘 모델이 기존의 Bag-of-Words 방법이 놓치는 리뷰의 문맥적 유사성을 포착할 수 있는가?

주요 결과

• ParVecMF는 모든 테스트된 특성 차원에서 MAP@N 및 MRR@N 지표에서 표준 SVD 기반 행렬 분해보다 일관되게 뛰어난 성능을 보였다.
• 잠재 기능 수가 증가할수록 ParVecMF와 기준 SVD 모델 간의 성능 격차가 커지며, 더 강력한 표현 능력을 보여준다.
• 모든 특성 수에서 ParVecMF의 평균 평균 정밀도(MAP@N)는 기준 SVD 모델을 측정 가능한 일관된 여유로 초월한다.
• 평균 역수 순위(MRR@N) 결과는 ParVecMF가 기준 모델보다 관련 항목을 추천 목록에서 더 높게 랭킹시킨다는 것을 보여준다.
• 결과는 사용자 리뷰 임베딩이 평가 점수 외의 의미 있는 선호 신호를 포착함으로써 랭킹과 정밀도를 모두 향상시킨다는 것을 시사한다.
• 이 연구는 사용자 리뷰의 신경망 임베딩이 협업 필터링 내 잠재 표현을 향상시킬 수 있다는 경험적 증거를 제공한다.