[논문 리뷰] From Amateurs to Connoisseurs: Modeling the Evolution of User Expertise through Online Reviews

Julian McAuley, Jure Leskovec|arXiv (Cornell University)|2013. 03. 18.

Digital Marketing and Social Media참고 문헌 24인용 수 130

한 줄 요약

이 논문은 사용자 전문성을 경험의 단조증적 증가 함수로 모델링하는 잠재요인 추천 시스템을 제안한다. 사용자가 제품 평가를 통해 개인의 발전을 학습한다. 노출에 따라 취향이 어떻게 변화하는지를 포착함으로써, 모델은 추천을 향상시키고, 전문가가 초보자보다 더 선호하는 제품들—예를 들어 맥주에서의 히프스—와 같은 획득 취향을 식별한다.

ABSTRACT

Recommending products to consumers means not only understanding their tastes, but also understanding their level of experience. For example, it would be a mistake to recommend the iconic film Seven Samurai simply because a user enjoys other action movies; rather, we might conclude that they will eventually enjoy it -- once they are ready. The same is true for beers, wines, gourmet foods -- or any products where users have acquired tastes: the `best' products may not be the most `accessible'. Thus our goal in this paper is to recommend products that a user will enjoy now, while acknowledging that their tastes may have changed over time, and may change again in the future. We model how tastes change due to the very act of consuming more products -- in other words, as users become more experienced. We develop a latent factor recommendation system that explicitly accounts for each user's level of experience. We find that such a model not only leads to better recommendations, but also allows us to study the role of user experience and expertise on a novel dataset of fifteen million beer, wine, food, and movie reviews.

연구 동기 및 목표

• 기존 추천 시스템이 시간에 따라 개인의 발전을 모델링하지 못하는 한계를 해결하기 위해.
• 사용자 취향이 제품의 연령이나 커뮤니티 트렌드와 같은 외부 요인 때문이 아니라, 제품 소비 행위 자체로 변화하는 방식을 이해하기 위해.
• 개별 사용자의 경험 수준을 명시적으로 고려하는 추천 모델을 개발하여 보다 나은 개인 맞춤화를 가능하게 하기 위해.
• 맥주, 와인, 음식, 영화와 같은 다양한 도메인에서 경험을 통해만 선호되는 '획득 취향'—즉, 경험을 쌓은 후에만 선호되는 제품—을 발견하고 분석하기 위해.
• 온라인 커뮤니티에서의 초보자와 전문가 리뷰어 간 언어적 및 행동적 차이를 탐색하기 위해.

제안 방법

• 각 사용자가 경험 수준이 단조론적으로 증가하는 잠재요인 모델을 도입하며, 평가 수가 늘어날수록 경험 수준이 증가하여 개인의 발전을 포착한다.
• 다른 경험 수준에 대해 별도의 잠재요인을 사용하여 사용자의 선호를 모델링함으로써, 사용자가 경험을 쌓으면서 시스템 간에 '진행'하는 것을 가능하게 한다.
• 경험 수준이 시간에 따라 감소하지 않도록 보장하는 제약 최적화 프레임워크를 사용하여 실제 사용자 발전을 반영한다.
• RateBeer, MovieLens 및 기타 자료에서 올라간 1,500만 건의 리뷰 대규모 데이터셋을 활용해 모델을 훈련하고 검증한다.
• 초보자와 전문가가 평가한 제품의 평균 평점 비교를 위해 아이템 바이어스 분석을 활용하여 획득 취향을 식별한다.
• 정성적 및 정량적 분석을 수행하여 경험 수준이 평가 행동에서 사용자 전문성의 의미 있는 대체 지표가 되는지 검증한다.

실험 결과

연구 질문

• RQ1 사용자 전문성은 시간이 지남에 따라 어떻게 변화하며, 이러한 변화는 경험의 단조론적 증가로 모델링할 수 있는가?
• RQ2 초보자와 전문가 사용자 간의 평가 행동에는 어떤 차이가 있으며, 전문가가 더 극단적인 평점을 주는가?
• RQ3 다양한 제품 도메인에서 어떤 제품들이 '획득 취향'—즉, 경험을 쌓은 후에만 선호되는 제품—으로 간주되는가?
• RQ4 사용자 경험을 모델링하면 기존의 시간 또는 커뮤니티 수준의 동적 모델 대비 추천 정확도가 향상되는가?
• RQ5 온라인 리뷰 커뮤니티에서 초보자와 전문가 리뷰어 간의 언어적 및 리뷰 작성 행동에는 어떤 차이가 있는가?

주요 결과

• 전문가들은 상위 제품에 대해 더 높게 평가하고 하위 제품에 대해 더 혹독하게 평가하여, 더 극단적이고 일관된 선호를 보인다.
• 사용자 경험을 고려한 모델은 제품 수준이나 커뮤니티 수준의 시간 동적 모델보다 성능이 뛰어나다.
• Imperial Stout와 Quadrupel와 같은 제품은 전문가들 사이에서 강한 선호를 보이며, 초보자들은 이들 제품을 낮게 평가하는 경향이 있어 획득 취향 행동을 보여준다.
• 히프스가 많은 맥주, 예를 들어 IPA는 전문가들 사이에서 높은 평점을 받지만 초보자들은 자주 싫어하므로 획득 취향의 존재를 확인한다.
• 모델은 사용자가 개인적인 경험의 시간선을 거쳐가며 발전함을 성공적으로 식별했으며, 동일한 경험 수준에 도달하면 연도적 시간과 관계없이 유사한 평가 패tern을 보임을 보여준다.
• 전문성은 평가 정확도에만 국한되지 않으며, 일관된 극단적 평가 패턴과 전문 용어와 같은 언어적 특징을 통해도 반영된다.