[논문 리뷰] Sequential Voting Promotes Collective Discovery in Social Recommendation Systems

L. Elisa Celis, P. M. Krafft외 1명|arXiv (Cornell University)|2016. 03. 14.

Mobile Crowdsensing and Crowdsourcing참고 문헌 21인용 수 12

한 줄 요약

이 연구는 사회적 추천 시스템에서 순차적 투표가 고품질 교육 콘텐츠의 집단적 탐색을 향상시키는지 여부를 조사한다. 아마존 메카니컬 터크를 활용한 시뮬레이션된 MOOC를 통해, 순차적 투표가 독립적 투표와 전문가 큐레이션보다 자가 보고 학습을 크게 증가시킴을 발견하여, 품질이 학습 결과를 통해 객관적으로 측정될 경우 사회적 영향력이 콘텐츠 랭킹 향상에 기여할 수 있음을 시사한다.

ABSTRACT

One goal of online social recommendation systems is to harness the wisdom of crowds in order to identify high quality content. Yet the sequential voting mechanisms that are commonly used by these systems are at odds with existing theoretical and empirical literature on optimal aggregation. This literature suggests that sequential voting will promote herding---the tendency for individuals to copy the decisions of others around them---and hence lead to suboptimal content recommendation. Is there a problem with our practice, or a problem with our theory? Previous attempts at answering this question have been limited by a lack of objective measurements of content quality. Quality is typically defined endogenously as the popularity of content in absence of social influence. The flaw of this metric is its presupposition that the preferences of the crowd are aligned with underlying quality. Domains in which content quality can be defined exogenously and measured objectively are thus needed in order to better assess the design choices of social recommendation systems. In this work, we look to the domain of education, where content quality can be measured via how well students are able to learn from the material presented to them. Through a behavioral experiment involving a simulated massive open online course (MOOC) run on Amazon Mechanical Turk, we show that sequential voting systems can surface better content than systems that elicit independent votes.

연구 동기 및 목표

• 사회적 추천 시스템에서 순차적 투표가 독립적 투표 또는 전문가 큐레이션보다 더 나은 콘텐츠 탐색을 이끌어내는지 평가하기.
• 학습 결과를 기반으로 한 콘텐츠 품질의 객관적 측정치를 사용하여 사회적 영향력이 집단지능에서 수행하는 역할을 평가하기.
• 순차적 투표 메커니즘이 고품질 교육 자료를 식별하는 데 있어 전문가 큐레이션을 능가할 수 있는지 조사하기.
• 순차적 투표 하에서의 군중행동(herding behavior)이 향상된 학습 결과에 기여하는 정도를 검토하기.

제안 방법

• 참가자들이 상호작용하는 MOOC 포럼을 시뮬레이션하기 위해 아마존 메카니컬 터크를 활용한 행동 실험을 수행하였다.
• 자기 보고 학습과 소비 후 테스트 점수라는 두 가지 외생적 지표를 사용하여 콘텐츠 품질 데이터를 수집하였다.
• 세 가지 투표 조건을 비교하였다: 공개 투표가 가능한 순차적 투표, 이전 투표가 보이지 않는 독립적 투표, 전문가 큐레이션된 콘텐츠.
• 헤링드 행동의 지표로 투표 분포의 불평등을 측정하기 위해 기니 지수(Gini index)를 사용하였다.
• 전문가 평가 기반으로 선택된 설명을 전문가 조건에 사용하여 고품질 콘텐츠가 기준이 되도록 보장하였다.
• 사회적 영향력이 콘텐츠 탐색에 미치는 영향을 평가하기 위해 각 조건 간의 학습 결과 차이를 분석하였다.

실험 결과

연구 질문

• RQ1 사회적 추천 시스템에서 순차적 투표가 독립적 투표보다 더 나은 콘텐츠 탐색을 이끌어내는가?
• RQ2 순차적 투표가 고품질 교육 자료를 식별하는 데 있어 전문가 큐레이션을 능가할 수 있는가?
• RQ3 순차적 투표에서 관찰되는 투표 불평등(헤링드 행동의 증거)은 학습 결과 향상에 어느 정도 기여하는가?
• RQ4 다양한 투표 메커니즘 하에서 자기 보고 학습과 테스트 점수는 콘텐츠 품질과 어떻게 상관관계가 있는가?
• RQ5 독립적 투표 또는 전문가 선별을 통해 달성 가능한 수준을 초월해 사회적 영향력이 학습을 향상시키는 메커니즘이 존재하는가?

주요 결과

• 자기 보고 학습은 순차적 투표 조건에서 독립적 투표 및 전문가 큐레이션 조건보다 유의미하게 높았다.
• 평균 테스트 점수는 순차적 조건에서 일관되게 높았지만, 통계적 유의성은 달성하지 못했다.
• 기니 지수는 순차적 조건에서 더 높은 투표 불평등을 나타내어 헤링드 행동의 존재를 시사했다.
• 자기 보고 학습 측면에서 순차적 투표 조건은 전문가 큐레이션 조건을 능가했으며, 이는 군중 기반 탐색의 잠재적 승리 가능성을 시사한다.
• 연구에서는 헤링드 행동이 향상된 결과의 주요 원인이라는 결론적인 증거를 발견하지 못했으며, 특히 고품질 설명이 적은 과정에서는 더욱 그러했다.
• 결과적으로 순차적 투표가 일부 맥락에서 전문가보다 더 나은 콘텐츠를 군중이 탐색할 수 있음을 시사하며, 콘텐츠 큐레이션에서 전문가의 우월성에 대한 기존 가정을 도전한다.