[논문 리뷰] Towards Evaluating User Profiling Methods Based on Explicit Ratings on Item Features

Luca Luciano Costanzo, Yashar Deldjoo외 3명|arXiv (Cornell University)|2019. 08. 29.

Recommender Systems and Techniques참고 문헌 23인용 수 4

한 줄 요약

이 논문은 영화 특성(장르, 배우, 감독)에 대한 명시적 사용자 평가와 암시적 사용자 프로파일링 방법을 비교하여, 유추된 사용자 선호도와 실제 선호도 간의 낮은 유사도를 밝혀냈다. 저자들은 공개 가능한 데이터셋을 구축하였으며, 최고의 방법이라도 장르에 대해 평균 58.07%의 코사인 유사도에 그치며, 추천 시스템의 사용자 프로파일 모델링 향상 여지가 크다는 것을 시사한다.

ABSTRACT

In order to improve the accuracy of recommendations, many recommender systems nowadays use side information beyond the user rating matrix, such as item content. These systems build user profiles as estimates of users' interest on content (e.g., movie genre, director or cast) and then evaluate the performance of the recommender system as a whole e.g., by their ability to recommend relevant and novel items to the target user. The user profile modelling stage, which is a key stage in content-driven RS is barely properly evaluated due to the lack of publicly available datasets that contain user preferences on content features of items. To raise awareness of this fact, we investigate differences between explicit user preferences and implicit user profiles. We create a dataset of explicit preferences towards content features of movies, which we release publicly. We then compare the collected explicit user feature preferences and implicit user profiles built via state-of-the-art user profiling models. Our results show a maximum average pairwise cosine similarity of 58.07\% between the explicit feature preferences and the implicit user profiles modelled by the best investigated profiling method and considering movies' genres only. For actors and directors, this maximum similarity is only 9.13\% and 17.24\%, respectively. This low similarity between explicit and implicit preference models encourages a more in-depth study to investigate and improve this important user profile modelling step, which will eventually translate into better recommendations.

연구 동기 및 목표

• 영화의 항목 특성(예: 장르, 배우)에 대한 명시적 사용자 평가와 영화 평가 데이터에서 유도된 암시적 사용자 프로파일 간의 격리 여부를 조사하기 위해.
• 최신 사용자 프로파일링 방법의 성능을 항목 특성에 대한 진짜 사용자 선호도를 재구성하는 데서 평가하기 위해.
• 평가 목적을 위해 명시적 사용자 선호도가 포함된 항목 콘텐츠 특성에 대한 공개 가능한 데이터셋의 부족을 해결하기 위해.
• 콘텐츠 기반 및 하이브리드 추천 시스템에서 사용자 프로파일링 단계 평가의 핵심 격차를 부각하기 위해.
• 전체 추천 정확도 향상을 위해 사용자 프로파일 모델링 향상에 대한 깊은 연구를 장려하기 위해.

제안 방법

• 크라우드소싱 웹 애플리케이션을 통해 영화 특성(장르, 배우, 감독)에 대한 명시적 사용자 평가를 수집하여 공개 가능한 데이터셋을 구축함.
• 사용자 응답 기반으로 평가된 특성의 경우 가중치 1, 나머지 특성의 경우 0으로 설정된 이진 벡터로서 명시적 사용자 프로파일을 구성함.
• 영화 평가 데이터에 대해 최신의 네 가지 사용자 프로파일링 방법(Zhang, Li, Symeonidis, TF-IDF)을 적용하여 암시적 사용자 프로파일을 생성함.
• 코사인 및 재작합 유사도 측정 기준으로 명시적 프로파일과 암시적 프로파일 간의 쌍별 유사도를 계산함.
• 장르(19개 카테고리), 배우(567만 개), 감독(58만 개)의 세 가지 특성 유형에 대해 다양한 특성 기수를 고려하여 유사도를 평가함.
• 스칼라 가중치를 처리하기 위해 Jaccard 유사도 계산에 k-최상위 특성 선택 기법을 사용함.

실험 결과

연구 질문

• RQ1 최신 기술로 유도된 암시적 사용자 프로파일이 항목 특성에 대한 명시적 사용자 선호도와 얼마나 유사한가?
• RQ2 특성 유형(예: 장르 대비 배우)이 명시적 및 암시적 사용자 프로파일 간의 유사도에 어떤 영향을 미치는가?
• RQ3 특성 집합의 기수(예: 19개 장르 대비 567만 개의 배우)가 사용자 프로파일링 방법의 성능에 어떤 영향을 미치는가?
• RQ4 기존의 사용자 프로파일링 방법이 명시적 평가로 표현된 진짜 사용자 취향을 얼마나 정확하게 재구성하는가?
• RQ5 명시적 프로파일과 암시적 프로파일 간의 낮은 유사도가 사용자 평가의 노이즈 또는 모델링 기법의 한계 때문인가?

주요 결과

• 가장 성능이 뛰어난 사용자 프로파일링 방법(Li)이라도 영화 장르에 대해 암시적 프로파일과 명시적 사용자 선호도 간 평균 코사인 유사도가 58.07%에 그침.
• 배우에 대해서는 모든 방법 중 최고의 평균 코사인 유사도가 9.13%에 불과하여 암시적 모델과 명시적 취향 간의 불일치가 심함.
• 감독에 대해서는 최고의 평균 코사인 유사도가 17.24%에 그쳐 여전히 상당히 낮아, 이 특성 유형에 대한 사용자 선호도 모델링이 약함을 시사함.
• Jaccard 유사도 결과는 코사인 유사도보다 항상 낮았으며, 최고의 방법이 장르에 대해 36.19%를 기록했고, 배우에 대해서는 단지 5.73%에 그침.
• 모든 특성 유형에서 낮은 유사도는 현재 암시적 사용자 프로파일링 방법이 진짜 사용자 선호도를 포착하는 데서의 한계를 강력히 시사함.
• 이러한 발견은 정확하지 못한 사용자 프로파일 모델링이 추천 정확도의 주요 장애물일 수 있으며, 향후 개선된 프로파일링 기법에 대한 연구가 필요하다는 것을 시사함.