[논문 리뷰] Do Social Explanations Work? Studying and Modeling the Effects of Social Explanations in Recommender Systems

Amit Sharma, Dan Cosley|arXiv (Cornell University)|2013. 04. 11.

Recommender Systems and Techniques참고 문헌 19인용 수 35

한 줄 요약

이 논문은 음악 추천 시스템에서 'X명의 친구가 이걸 좋아해요'와 같은 사회적 설명이 사용자 결정에 어떻게 영향을 미치는지 조사한다. 사회적 영향과 본질적 선호의 상호작용을 포착하는 생성적 확률 모델을 제안하며, 사회적 설명은 초반 관심을 높이지만 실제 청취 기반 평가와는 낮은 상관관계를 보이며, 이는 그들이 설득력은 있지만 정보성은 부족하다는 것을 시사한다.

ABSTRACT

Recommender systems associated with social networks often use social explanations (e.g. "X, Y and 2 friends like this") to support the recommendations. We present a study of the effects of these social explanations in a music recommendation context. We start with an experiment with 237 users, in which we show explanations with varying levels of social information and analyze their effect on users' decisions. We distinguish between two key decisions: the likelihood of checking out the recommended artist, and the actual rating of the artist based on listening to several songs. We find that while the explanations do have some influence on the likelihood, there is little correlation between the likelihood and actual (listening) rating for the same artist. Based on these insights, we present a generative probabilistic model that explains the interplay between explanations and background information on music preferences, and how that leads to a final likelihood rating for an artist. Acknowledging the impact of explanations, we discuss a general recommendation framework that models external informational elements in the recommendation interface, in addition to inherent preferences of users.

연구 동기 및 목표

• 음악 추천 맥락에서 사회적 설명이 사용자 결정에 어떻게 영향을 미치는지 이해하는 것.
• 소비 이전의 초기 관심(확인할 가능성)에 대한 사회적 설명의 영향와 소비 이후 실제 평가에 대한 영향을 구분하는 것.
• 추천 결과 형성에 영향을 주는 사회적 영향과 사용자 본질적 선호의 상호작용을 모델링하는 것.
• 외부 정보적 요소(예: 사회적 증거)를 추천 시스템에 통합할 수 있는 일반화 가능한 프레임워크를 개발하는 것.
• 사회적 설명이 추천 인터페이스에서 개인정보 보호, 신뢰성, 사용자 통제에 미치는 영향을 탐색하는 것.

제안 방법

• 237명의 참가자에게 참여한 사용자 연구를 실시하여, 다양한 사회적 설명(예: 특정 아티스트를 좋아하는 친구 수, 특정 친구 이름)이 동반된 음악 추천을 노출시켰다.
• 두 가지 핵심 결과를 측정함: (1) 청취 이전에 추천 아티스트를 확인할 가능성, (2) 여러 곡을 청취한 후의 실제 평가.
• 사회 정보와 본질적 선호가 함께 likelihood 평가에 어떻게 영향을 미치는지 설명하는 생성적 확률 모델을 제안함.
• 질적 사용자 의견을 활용하여 사회적 설명을 해석하는 데 사용되는 다양한 전략을 파악함으로써 개인화의 필요성을 뒷받对方.
• likelihood 평가와 소비 기반 평가 간 상관관계를 분석하여 설명이 설득력 있는지 정보적인지 평가함.
• 사용자 선호와 함께 외부 인터페이스 요소(예: 사회적 증거)를 명시적으로 모델링하는 추천 프레임워크를 개발함.

실험 결과

연구 질문

• RQ1 다양한 유형의 사회적 설명은 사용자에게 추천된 음악 아티스트를 확인할 가능성을 어떻게 영향을 미치는가?
• RQ2 사회적 설명은 음악 청취 후 실제 사용자 평가에 어느 정도 영향을 미치는가?
• RQ3 사용자의 초반 likelihood 평가와 동일 아티스트에 대한 소비 후 평가 사이에 상관관계가 있는가?
• RQ4 사용자들은 사회적 설명을 어떻게 해석하고 이해하는가? 이러한 해석은 개인 간에 다를까?
• RQ5 생성적 모델이 사회적 설명과 본질적 선호의 병합된 영향을 효과적으로 포착할 수 있는가?

주요 결과

• 사회적 설명은 추천된 아티스트를 확인할 가능성에 상당한 영향을 미치지만, 이는 사용자의 아티스트를 좋아할 것이라는 본질적 기대에 비해 보조적인 영향이다.
• 동일 아티스트에 대한 likelihood 평가와 실제 청취 기반 평가 간 상관관계는 낮다(명시적으로 수치화되지 않음, 하지만 '낮음'으로 묘사됨), 이는 사회적 설명이 설득력은 있지만 정보성은 부족하다는 것을 시사한다.
• 신뢰할 수 있는 친구이면서 음악 취향이 유사한 친구의 추천에 사용자가 더 영향을 받는다. 알 수 없는 친구이거나 취향이 맞지 않는 친구의 추천은 설득력이 떨어진다.
• 사용자들은 사회적 설명을 해석하는 데 다양한 전략을 사용하며, 이는 설명의 개인화가 효과성을 높일 수 있음을 시사한다.
• 생성적 모델은 사회적 영향과 본질적 선호를 통합하여 likelihood 평가의 상당한 변동성을 성공적으로 설명한다.
• 개인정보 보호에 대한 우려는 존재했지만 주요 문제는 아니었으며, 대부분의 사용자는 음악 분야에서는 사회적 설명을 수용 가능한 것으로 간주했지만, 일부는 선호를 맥락적으로 잘못 표현하는 것에 불편함을 느꼈다.