[논문 리뷰] A Distributed Collaborative Filtering Algorithm Using Multiple Data Sources

Mohamed Reda Bouadjenek, Esther Pacitti외 3명|arXiv (Cornell University)|2018. 07. 16.

Recommender Systems and Techniques참고 문헌 25인용 수 4

한 줄 요약

이 논문은 행렬 분해를 통해 사용자 평가, 소셜 네트워크, 태그, 사용자 관심사와 같은 다양한 데이터 소스를 통합하는 분산 협업 필터링 알고리즘을 제안한다. 원시 데이터를 이전하지 않고 분산된 데이터 센터 간에 잠재 특징 행렬을 공유함으로써, Delicious 및 Movielens 데이터셋에서 최신 기법들보다 뛰어난 성능을 달성한다.

ABSTRACT

Collaborative Filtering (CF) is one of the most commonly used recommendation methods. CF consists in predicting whether, or how much, a user will like (or dislike) an item by leveraging the knowledge of the user's preferences as well as that of other users. In practice, users interact and express their opinion on only a small subset of items, which makes the corresponding user-item rating matrix very sparse. Such data sparsity yields two main problems for recommender systems: (1) the lack of data to effectively model users' preferences, and (2) the lack of data to effectively model item characteristics. However, there are often many other data sources that are available to a recommender system provider, which can describe user interests and item characteristics (e.g., users' social network, tags associated to items, etc.). These valuable data sources may supply useful information to enhance a recommendation system in modeling users' preferences and item characteristics more accurately and thus, hopefully, to make recommenders more precise. For various reasons, these data sources may be managed by clusters of different data centers, thus requiring the development of distributed solutions. In this paper, we propose a new distributed collaborative filtering algorithm, which exploits and combines multiple and diverse data sources to improve recommendation quality. Our experimental evaluation using real datasets shows the effectiveness of our algorithm compared to state-of-the-art recommendation algorithms.

연구 동기 및 목표

• 소셜 네트워크, 태그, 사용자 관심사와 같은 다양한 보조 데이터 소스를 활용하여 협업 필터링의 데이터 희소성 문제를 해결한다.
• 외부 데이터를 사용해 사용자 및 아이템 표현을 풍부화시킴으로써 신규 사용자 및 아이템의 콜드 스타트 문제를 해결한다.
• 원시 데이터를 데이터 센터 간에 이전하지 않음으로써 개인정보 보호를 보장하면서도 확장 가능한 추천을 가능하게 하는 분산 알고리즘을 설계한다.
• 다양한 이질적 데이터 소스를 통합된 행렬 분해 프레임워크에 통합하여 사용자 선호도 및 아이템 특성 모델링을 향상시킨다.
• 기존 최신 기법들과의 비교를 통해 실세계 데이터셋에서 제안된 방법의 효과성을 종합적으로 평가한다.

제안 방법

• 사용자 및 아이템 잠재 특징을 모델링하기 위해 행렬 분해를 활용하며, 사용자-아이템 평가 행렬과 보조 데이터 행렬(예: 소셜 신뢰, 태그, 주제)을 함께 분해한다.
• 모든 데이터 소스 간에 공통된 잠재 사용자 특징 행렬을 공유함으로써 다수의 소스 간 학습 및 사용자 표현의 일관성을 확보한다.
• 각 데이터 소스를 해당 데이터 센터에서 로컬로 처리하고, 중간 단계의 잠재 특징 행렬만 교환하는 분산 계산 모델을 설계한다.
• 통신 오버헤드를 최소화하기 위해 반복 최적화(예: SGD 또는 유사 방법)를 활용해 행렬을 조율된 방식으로 분해한다.
• 다양한 데이터 소스(예: 신뢰할 수 있는 친구)의 중요도를 반영하기 위해 가중치를 적응적으로 학습한다.
• 원시 사용자 또는 아이템 데이터를 데이터 센터 간에 전송하지 않음으로써 개인정보 보호와 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 다양한 데이터 소스(예: 평가, 태그, 소셜 네트워크)를 통합하면 협업 필터링 추천의 정확도가 향상되는가?
• RQ2 원시 데이터를 데이터 센터 간에 이전하지 않고도 분산 시스템이 다수의 데이터 소스를 효율적으로 통합할 수 있는가?
• RQ3 이질적 데이터 소스 간에 공유되는 잠재 특징 행렬이 사용자 선호도 및 아이템 특성 모델링에 미치는 영향은 무엇인가?
• RQ4 기존의 중심집중형 및 분산 행렬 분해 방법들과 비교했을 때 제안된 분산 알고리즘이 성능 및 확장성 면에서 어떻게 성과를 내는가?
• RQ5 보조 데이터를 활용해 새로운 사용자 및 아이템의 콜드 스타트 문제를 어느 정도 완화할 수 있는가?

주요 결과

• 제안된 분산 알고리즘은 Delicious 및 Movielens 데이터셋 양쪽에서 대부분의 최신 기법들을 뛰어넘는 일관된 성능을 보였다.
• 소셜 네트워크, 태그, 사용자 관심사와 같은 다수의 데이터 소스 통합은 단일 소스 또는 평가 데이터만을 사용하는 방법보다 추천 정확도를 크게 향상시켰다.
• 희소 데이터 환경에서도 뛰어난 성능을 발휘하여 신규 사용자 및 아이템의 콜드 스타트 문제를 효과적으로 완화했다.
• 분산 설계 덕분에 원시 데이터 전송 없이도 잠재 특징 행렬만을 교환함으로써 확장 가능한 계산이 가능했고, 개인정보 보호도 유지되었다.
• Movielens 데이터셋에서는 Matchbox와 HeteroMF가 약간 더 높은 성능을 보였지만, 이는 제안된 방법의 강력한 경쟁력과도 일치한다.
• 다양한 데이터 소스(예: 신뢰할 수 있는 친구)에 대한 적응적 가중치 학습은 사용자 취향의 다양성을 더 잘 모델링하고 추천 품질을 향상시켰다.