[논문 리뷰] Exploring Choice Overload in Related-Article Recommendations in Digital Libraries

Felix Beierle, Akiko Aizawa외 1명|arXiv (Cornell University)|2017. 04. 03.

Recommender Systems and Techniques참고 문헌 11인용 수 7

한 줄 요약

이 연구는 Sowiport(340만 개의 추천 항목)에서 수집한 실세계 데이터를 바탕으로 디지털 도서관 추천 시스템에서의 선택 과부하를 분석하여, 표시된 관련 기사 추천 수가 늘어남에 따라 클릭률(CTR)이 어떻게 변화하는지를 조사한다. 그 결과, CTR는 추천 수가 많아질수록 급격히 감소하며, 1개의 추천이 표시될 때 가장 높게 나타나며(CTR ~0.35%), 절대 클릭 수는 1개에서 10~11개로 늘어나도 오직 2배로 증가할 뿐이어서, 작은 수의 추천을 초과하면 사용자가 선택 과부하를 경험하는 것으로 나타났다.

ABSTRACT

We investigate the problem of choice overload - the difficulty of making a decision when faced with many options - when displaying related-article recommendations in digital libraries. So far, research regarding to how many items should be displayed has mostly been done in the fields of media recommendations and search engines. We analyze the number of recommendations in current digital libraries. When browsing fullscreen with a laptop or desktop PC, all display a fixed number of recommendations. 72% display three, four, or five recommendations, none display more than ten. We provide results from an empirical evaluation conducted with GESIS' digital library Sowiport, with recommendations delivered by recommendations-as-a-service provider Mr. DLib. We use click-through rate as a measure of recommendation effectiveness based on 3.4 million delivered recommendations. Our results show lower click-through rates for higher numbers of recommendations and twice as many clicked recommendations when displaying ten instead of one related-articles. Our results indicate that users might quickly feel overloaded by choice.

연구 동기 및 목표

• 디지털 도서관에서 더 많은 관련 기사 추천을 표시할 경우 사용자가 선택 과부하를 경험하는지 조사하기.
• 사용자 클릭 행동을 바탕으로 표시할 최적의 추천 수를 결정하기.
• 실세계 클릭률 데이터를 사용하여 다양한 크기의 추천 세트의 효과성을 평가하기.
• 실증적인 CTR 추세를 분석하여 추천 세트 크기와 관련된 기존 가정을 도전하기.
• 학술적 디지털 도서관의 추천 시스템 설계를 위한 데이터 기반 통찰 제공하기.

제안 방법

• Mr. DLib의 추천 서비스(Recommendation-as-a-Service, RaaS) 플랫폼을 사용하는 디지털 도서관인 Sowiport에서 실세계 클릭률 데이터를 수집하였다.
• 1~15개의 표시 항목으로 구성된 총 340만 개의 추천 항목을 분석하여 CTR와 절대 클릭 수를 측정하였다.
• 추천 효과성과 사용자 만족도의 지표로 CTR를 사용하였다.
• 15개 이하의 다양한 추천 세트 크기(1~15개) 간의 CTR와 절대 클릭 수를 비교하였다.
• 모의 실험이나 소규모 사용자 연구를 피하고, 실제 운영 환경에서의 실증적 평가를 수행하였다.
• 해당 결과의 해석에 영향을 줄 수 있는 잠재적 혼동 요인(예: 중복 추천, 세션 길이 등)을 고려하였다.

실험 결과

연구 질문

• RQ1 디지털 도서관에서 표시된 관련 기사 추천 수가 사용자의 클릭률에 어떤 영향을 미치는가?
• RQ2 몇 개의 추천 항목을 표시할 경우부터 선택 과부하가 사용자 참여도를 감소시키기 시작하는가?
• RQ3 추천 수를 늘릴수록 클릭 수가 비례하여 증가하는가?
• RQ4 다양한 추천 세트 크기에서 CTR와 절대 클릭 수는 어떻게 변화하는가?
• RQ5 실세계 클릭 패턴은 추천 세트 크기에 관해 이론적 기대와 얼마나 다를까?

주요 결과

• 클릭률(CTR)은 오직 하나의 추천만 표시될 때 가장 높으며, 약 0.35%로 정점에 이른다.
• 추천 수가 많아질수록 CTR는 급격히 감소하여 15개의 추천이 표시될 경우 최소 0.14%에 이르게 된다.
• 절대 클릭 수는 추천 수가 늘어나도 거의 증가하지 않으며, 1개에서 15개로 늘어나도 17% 증가에 그치며(1,000건당 클릭 수는 8.4에서 9.8로 증가), 미미한 증가 폭을 보인다.
• 절대 클릭 수를 두 배로 늘리기 위해서는 추천 세트 크기를 1개에서 10~11개로 늘여야 한다(8.4에서 17로 증가).
• 15개의 추천을 표시했을 경우 1개의 추천과 비교해 1,000건당 클릭 수가 2.5배 뿐이므로 비례 증가가 이루어지지 않음을 시사한다.
• 결과적으로 사용자는 소수의 추천을 초과하면 선택 과부하를 경험하며, 참여도 향상에 대한 수익 감소 현상이 나타남을 시사한다.