[논문 리뷰] Recommender System for Online Dating Service

Lukas Brozovsky, V. Petřı́ček|ArXiv.org|2007. 03. 09.

Recommender Systems and Techniques참고 문헌 17인용 수 117

한 줄 요약

이 논문은 정보 과부하를 완화하고 매칭 품질을 향상시키기 위해 온라인 데이팅 서비스를 위한 협업 필터링(CF) 기반 추천 시스템을 제안한다. Libimseti.cz의 실제 데이터를 사용하여, 사용자-사용자 및 항목-항목 CF 알고리즘은 예측 정확도(NMAE: 3.08% 및 2.04%)에서 전반적인 인기(평균) 및 무작위 기준보다 유의미하게 뛰어나며, 눈먼 실험에서 사용자들이 64.38%의 대결에서 평균 알고리즘에 비해 선호함을 입증한다.

ABSTRACT

Users of online dating sites are facing information overload that requires them to manually construct queries and browse huge amount of matching user profiles. This becomes even more problematic for multimedia profiles. Although matchmaking is frequently cited as a typical application for recommender systems, there is a surprising lack of work published in this area. In this paper we describe a recommender system we implemented and perform a quantitative comparison of two collaborative filtering (CF) and two global algorithms. Results show that collaborative filtering recommenders significantly outperform global algorithms that are currently used by dating sites. A blind experiment with real users also confirmed that users prefer CF based recommendations to global popularity recommendations. Recommender systems show a great potential for online dating where they could improve the value of the service to users and improve monetization of the service.

연구 동기 및 목표

• 나쁜 순위 매기기와 쿼리 제한으로 인해 사용자가 과도하게 프로필을 봐야 하는 온라인 데이팅에서 정보 과부하 문제를 해결하기 위해.
• 데이팅 프로필 추천에 있어 협업 필터링(CF) 알고리즘과 전역 인기 알고리즘의 효과성을 평가하기 위해.
• 실제 환경에서 CF 기반 추천과 전역적으로 인기 있는 추천 간의 사용자 선호도를 평가하기 위해.
• CF 기반 추천 시스템이 매칭 품질과 서비스 가치를 크게 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 연구는 1,000개의 프로필에 걸쳐 14,057개의 평가가 포함된 데이팅 사이트 Libimseti.cz의 실제 세계 데이터셋을 사용한다. 데이터의 희박도는 11.39‰이다.
• 네 가지 알고리즘을 기준으로 비교한다: Random(균일한 무작위 예측), Mean(전역 인기), User-User CF(k-가장 가까운 이웃), Item-Item CF(코사인 유사도 기반).
• 예측 정확도는 정규화된 평균 절대 오차(NMAE)를 사용하여 측정하며, 데이터셋의 스냅샷에 대해 교차 검증을 실시한다.
• 111명의 참가자가 참여한 눈먼 사용자 실험에서 User-User(10,50), Mean, Random 알고리즘의 추천 목록을 비교하였으며, 선호도 평가를 위해 '대결' 형식을 사용하였다.
• 사용자 인터페이스는 추천 대상이 반대 성별이며, 이미 평가된 프로필을 제외하여 편향을 방지하도록 설계되었다.
• 스케일링을 평가하기 위해 인덱스 구조를 평가하였으며, ColFi가 실제 웹 트래픽 수준을 처리할 수 있음을 확인하였다.

실험 결과

연구 질문

• RQ1 협업 필터링 알고리즘이 온라인 데이팅에서 전역 인기 기준보다 예측 정확도를 유의미하게 향상시킬 수 있는가?
• RQ2 사용자들은 CF 기반 추천을 전역 인기나 무작위 추천보다 더 높은 품질로 인식하는가?
• RQ3 사용자-사용자 및 항목-항목 CF 알고리즘이 NMAE 측면에서 평균 및 무작위 기준보다 어떻게 성능을 내는가?
• RQ4 사용자 인터페이스 설계가 데이팅 플랫폼에서 평가의 진실성과 추천 품질에 어떤 영향을 미치는가?
• RQ5 하이브리드 또는 상호 매칭 모델이 데이팅 시스템의 추천 관련성 향상에 더 큰 기여를 할 수 있는가?

주요 결과

• User-User CF는 NMAE 3.08%로 가장 낮은 오차를 기록하여 Item-Item CF(2.04%)와 전역 Mean 알고리즘을 모두 앞서나갔다.
• Item-Item CF 알고리즘이 NMAE 2.04%로 가장 높은 예측 정확도를 기록하였으며, 이는 Mean 알고리즘의 3.95%보다 유의미하게 낮았다.
• 사용자 선호도 실험에서 User-User 알고리즘이 Mean 알고리즘과의 대결에서 64.38%의 승리를 거두었으며, 이는 CF 기반 추천에 대한 사용자 선호도가 높음을 시사한다.
• Mean 알고리즘이 User-User와의 대결에서 35.62%의 승리를 거두었으며, 이는 전반적으로도 유명한 프로필에 대한 보편적인 선호가 있음을 시사하지만, 전체적으로는 패배함을 의미한다.
• Random 알고리즘은 User-User와의 대결에서 87.50%의 패배를 기록하여, 기준으로서의 무의미함을 확인하였다.
• 이 연구는 CF 기반 추천 시스템이 정확도 뿐 아니라 실제 사용자에 의해 더 선호됨을 확인하였으며, 이는 실제 데이팅 플랫폼에 도입할 근거를 제공한다.