[논문 리뷰] Shuffling a Stacked Deck: The Case for Partially Randomized Ranking of Search Engine Results

Sandeep Pandey, Sourashis Roy외 3명|arXiv (Cornell University)|2005. 03. 04.

Consumer Market Behavior and Pricing참고 문헌 17인용 수 71

한 줄 요약

이 논문은 검색 엔진에서 인기 페이지의 지배적 지위를 줄이고 새로운 고품질 콘텐츠의 탐색을 향상시키기 위해 부분적으로 무작위화된 랭킹을 제안한다. 일시적으로 탐색되지 않은 페이지를 결과 목록에서 우수한 순위로 승격시켜 제어된 10%의 무작위화 비율을 적용함으로써, 새로운 고품질 페이지의 가시성이 증가하여 장기적으로 결과 품질이 크게 향상된다. 이는 다양한 웹 커뮤니티 모델을 대상으로 한 실제 실험과 시뮬레이션을 통해 검증되었다.

ABSTRACT

In-degree, PageRank, number of visits and other measures of Web page popularity significantly influence the ranking of search results by modern search engines. The assumption is that popularity is closely correlated with quality, a more elusive concept that is difficult to measure directly. Unfortunately, the correlation between popularity and quality is very weak for newly-created pages that have yet to receive many visits and/or in-links. Worse, since discovery of new content is largely done by querying search engines, and because users usually focus their attention on the top few results, newly-created but high-quality pages are effectively ``shut out,'' and it can take a very long time before they become popular. We propose a simple and elegant solution to this problem: the introduction of a controlled amount of randomness into search result ranking methods. Doing so offers new pages a chance to prove their worth, although clearly using too much randomness will degrade result quality and annul any benefits achieved. Hence there is a tradeoff between exploration to estimate the quality of new pages and exploitation of pages already known to be of high quality. We study this tradeoff both analytically and via simulation, in the context of an economic objective function based on aggregate result quality amortized over time. We show that a modest amount of randomness leads to improved search results.

연구 동기 및 목표

• 검색 엔진에서 인기 지표에 의존함으로써 신규 고품질 페이지가 체계적으로 간과되는 '지배적 지위 문제'를 해결하기 위해.
• 결정론적 랭킹 전략에 비해 결과 랭킹에 통제된 무작위성을 도입함으로써 장기 평균 검색 결과 품질을 향상시킬 수 있는지 조사하기 위해.
• 집합적 결과 품질을 최대화하는 방식으로 새로운 페이지 탐색과 기존 고품질 페이지 활용 간의 균형을 조사하기 위해.
• 다양한 랭킹 전략 하에서 페이지 인기와 사용자 참여 동역학을 기록하는 분석 및 시뮬레이션 모델을 개발하기 위해.
• 조금의 무작위성 조차도 검색 결과 품질 향상에 측정 가능한 영향을 미친다는 이론적·실증적 증거를 제공하기 위해.

제안 방법

• 신규(탐색되지 않은) 페이지의 소수를 결과 목록에서 높은 순위로 승격시켜 검색 결과 랭킹에 통제된 양의 무작위성을 도입하기 위해.
• 초기 인기도와 관계없이 신규 페이지가 상위 순위에 나타날 수 있는 비율이 0이 아닌 확률을 부여하는 랭킹 승격 메커니즘을 사용하기 위해.
• 사용자 행동을 하이브리드 서핑-검색 프레임워크를 사용해 모델링하여, 사용자가 초월 링크를 통해 탐색(텔레포트 확률 c)하거나 결정론적 또는 무작위 랭킹을 사용해 검색 엔진을 이용하기 위해.
• 다양한 랭킹 전략 하에서 시간이 지남에 따라 방문된 페이지의 평균 품질을 평가하기 위해 페이지 컬렉션의 품질(QPC)을 지표로 정의하기 위해.
• 결정론적 및 무작위 랭킹을 사용하여, 페이지 수(n), 사용자 인구수(u), 방문 빈도(vu), 시간 범위(l)가 다양한 웹 커뮤니티 구성 조건을 시뮬레이션하기 위해.
• 45일간 962명의 참가자로 실생활 사용자 연구를 수행하여, 랭킹 승격이 적용되지 않은 대조군과 랭킹 승격이 적용된 실험군을 비교하고, 유머/재미 요소 콘텐츠에 대한 사용자 평가를 품질의 대체 지표로 측정하기 위해.

실험 결과

연구 질문

• RQ1 결정론적 인기 기반 랭킹에 비해 검색 결과 랭킹에 소량의 무작위성을 도입함으로써 장기 평균 검색 결과 품질이 유의미하게 향상되는가?
• RQ2 다양한 커뮤니티 규모, 사용자 인구수, 방문 패턴에서 랭킹 무작위화의 성능은 어떻게 변화하는가?
• RQ3 장기적으로 높은 결과 품질을 유지하기 위해 탐색(신규 페이지 승격)과 활용(인기 페이지 랭킹) 사이의 최적 균형은 무엇인가?
• RQ4 무작위 서핑(예: PageRank의 텔레포트)이 랭킹 승격 전략과 상호작용하여 페이지의 가시성과 품질에 어떤 영향을 미치는가?
• RQ5 랭킹 승격이 높은 품질의 새로운 콘텐츠 탐색 지연을 초래하는 지배적 지위 효과를 어느 정도 완화하는가?

주요 결과

• 45일간 962명의 사용자로 실시한 연구에서, 랭킹 승격이 전체 검색 결과 품질 향상에 측정 가능한 영향을 미쳤으며, 새로운 페이지를 승격시킬 경우 사용자가 더 고품질의 유머 콘텐츠를 더 많이 평가했다.
• 시뮬레이션 결과, 랭킹에서 10%의 무작위화 비율만으로도 페이지 컬렉션의 품질(QPC)이 유의미하게 향상되었으며, 이는 적은 무작위성으로도 고품질 신규 콘텐츠의 탐색이 향상됨을 시사한다.
• 랭킹 승격의 성능 향상 효과는 n = 10,000의 다양한 커뮤니티 규모, 사용자 인구수(u), 방문 빈도(vu = 1,000회/일)에서 일관되게 유지되었으며, QPC 향상이 지속되었다.
• 텔레포트 확률 c를 통해 무작위 서핑을 도입하면 비무작위 랭킹 전략이 탐색을 증가시켜 도움이 되지만, 임계점을 넘어서면 과도한 노이즈로 인해 성능이 악화됨을 확인하여, 체계적 무작위성의 필요성을 강조했다.
• 탐색과 활용 간의 균형은 중간 수준의 무작위성에서 최적의 성능를 보였다: 너무 적은 무작위성은 신규 페이지를 도와주지 못했고, 너무 많은 무작위성은 결과 품질을 떨어뜨렸다.
• 연구는 랭킹 무작위화 승격 전략이 사용자 경험을 희생시키지 않으면서도 일관되게 검색 결과 품질을 향상시키는 유망한 저비용 전략임을 결론 내렸다.