[논문 리뷰] A Study of Position Bias in Digital Library Recommender Systems

Andrew Collins, Dominika Tkaczyk외 2명|arXiv (Cornell University)|2018. 02. 19.

Recommender Systems and Techniques참고 문헌 20인용 수 11

한 줄 요약

이 연구는 Sowiport와 JabRef에서 수집한 실세계 데이터를 활용하여 디지털 도서관 추천 시스템에서의 위치 편향을 조사한다. 여기서 추천 목록은 무작위로 재정렬되거나 고정 순서로 유지되었다. 연구 결과, 상위 순위에 배치된 항목이 예상보다 유의미하게 높은 클릭률을 기록함을 확인하였으며, Sowiport에서는 53% 높고, JabRef에서는 87% 높았다. 이는 관련성과 무관하게 순위 기반 사용자 선호도가 강력하게 작용함을 확인하며, 유의미한 통계적 유의성(p < 0.01)을 보였다.

ABSTRACT

"Position bias" describes the tendency of users to interact with items on top of a list with higher probability than with items at a lower position in the list, regardless of the items' actual relevance. In the domain of recommender systems, particularly recommender systems in digital libraries, position bias has received little attention. We conduct a study in a real-world recommender system that delivered ten million related-article recommendations to the users of the digital library Sowiport, and the reference manager JabRef. Recommendations were randomly chosen to be shuffled or non-shuffled, and we compared click-through rate (CTR) for each rank of the recommendations. According to our analysis, the CTR for the highest rank in the case of Sowiport is 53% higher than expected in a hypothetical non-biased situation (0.189% vs. 0.123%). Similarly, in the case of Jabref the highest rank received a CTR of 1.276%, which is 87% higher than expected (0.683%). A chi-squared test confirms the strong relationship between the rank of the recommendation shown to the user and whether the user decided to click it (p &lt; 0.01 for both Jabref and Sowiport). Our study confirms the findings from other domains, that recommendations in the top positions are more often clicked, regardless of their actual relevance.

연구 동기 및 목표

• 디지털 도서관 추천 시스템에서의 위치 편향의 존재 및 정도를 조사하기 위해.
• 사용자의 클릭 행동이 관련성과 무관하게 추천 항목의 순위에 의해 영향을 받는지 평가하기 위해.
• 실세계 디지털 도서관 시스템을 활용하여 위치 편향의 정도를 정량화하기 위해.
• 추천 순위와 사용자 클릭률 간의 관계가 통계적으로 유의미한지 평가하기 위해.
• 정당한 근거에 기반한 통찰을 제공하여 디지털 도서관 추천 알고리즘의 공정성과 정확성을 향상시키기 위해.

제안 방법

• Sowiport와 JabRef의 실세계 디지털 도서관 시스템에서 A/B 테스트를 수행하여 일부 사용자에게 추천 목록을 무작위로 재정렬하였다.
• 재정렬된 조건과 비재정렬된 조건 간의 서로 다른 순위의 추천 항목에 대한 클릭률(CTR)을 비교하였다.
• 순위와 클릭 행동 간의 관계의 통계적 유의성을 평가하기 위해 카이제곱 검정을 사용하였다.
• 위치 편향로 인한 편차를 정량화하기 위해 비편향 조건 하에서 예상되는 CTR를 계산하였다.
• 두 개의 서로 다른 디지털 도서관 플랫폼에서 십만 개 이상의 추천 항목을 분석하여 결과의 탄탄함을 확보하였다.
• 각 순위 위치의 CTR를 측정하고, 비편향 조건을 가정한 이론적 기대값과 관측된 CTR를 비교하였다.

실험 결과

연구 질문

• RQ1 위치 편향은 디지털 도서관 추천 시스템에서 사용자 클릭률에 얼마나 큰 영향을 미치는가?
• RQ2 추천 항목의 순위와 사용자 상호작용 가능성 간에 통계적으로 유의미한 관계가 존재하는가?
• RQ3 위치 편향이 존재하지 않을 경우를 가정할 때, 상위 순위 추천 항목의 클릭률은 얼마나 더 높은가?
• RQ4 위치 편향은 다양한 디지털 도서관 플랫폼(예: Sowiport와 JabRef)에서 유사하게 나타나는가?
• RQ5 위치 편향은 항목의 관련성과 무관하게 사용자 참여를 얼마나 심각하게 왜곡하는가?

주요 결과

• Sowiport에서는 상위 순위 추천 항목의 클릭률이 0.189%로, 비편향 조건에서 예상되는 0.123%보다 53% 높았다.
• JabRef에서는 상위 순위 추천 항목의 클릭률이 1.276%로, 비편향 조건에서 예상되는 0.683%보다 87% 높았다.
• 카이제곱 검정을 통해 Sowiport와 JabRef 양쪽 모두에서 추천 순위와 클릭률 간에 통계적으로 유의미한 관계가 있음(p < 0.01)을 확인하였다.
• 이 연구는 위치 편향이 사용자 상호작용에서 지배적인 요소임을 확인하였으며, 관련성과 무관하게 상위 순위에 배치된 항목이 유의미하게 더 많은 클릭을 받는다.
• 디지털 도서관에서 관찰된 위치 편향의 정도는 웹 검색 및 전자상거래 등 다른 분야에서의 결과와 유사하게 상당히 크며, 유의미한 수준이다.
• 결과는 현재 추천 시스템이 관련성보다 순위에 따라 항목을 우선시하는 경향이 있으며, 이는 사용자 탐색과 시스템의 공정성에 영향을 줄 수 있음을 시사한다.