[논문 리뷰] How Relevant is the Long Tail? A Relevance Assessment Study on Million Short

Philipp Schaer, Philipp Mayr외 2명|arXiv (Cornell University)|2016. 06. 20.

Information Retrieval and Search Behavior참고 문헌 5인용 수 4

한 줄 요약

이 연구는 링크 기반의 장기적 검색 엔진인 Million Short를 통해 웹 검색 결과 목록의 장기부분(롱테일)에서 결과의 관련성에 대해 평가한다. 헤드와 테일 결과 간의 콘텐츠에 명백한 차이가 있음에도 불구하고, 이진 관련성 평가에서는 통계적으로 유의미한 차이가 없었으며, 등급 관련성에서는 약간의 유의미한 감소만 관찰되어, 장기부분이 다양하고 유용한 정보를 담고 있으며 표준 검색 결과의 다양화에 활용할 만한 가치가 있음을 시사한다.

ABSTRACT

Users of web search engines are known to mostly focus on the top ranked results of the search engine result page. While many studies support this well known information seeking pattern only few studies concentrate on the question what users are missing by neglecting lower ranked results. To learn more about the relevance distributions in the so-called long tail we conducted a relevance assessment study with the Million Short long-tail web search engine. While we see a clear difference in the content between the head and the tail of the search engine result list we see no statistical significant differences in the binary relevance judgments and weak significant differences when using graded relevance. The tail contains different but still valuable results. We argue that the long tail can be a rich source for the diversification of web search engine result lists but it needs more evaluation to clearly describe the differences.

연구 동기 및 목표

• 장기부분의 웹 검색 결과가 상위 순위 결과를 초월해 유용하고 관련 있는 정보를 포함하고 있는지 조사하기 위해.
• 장기부분 검색 엔진에서 상위 1000개 사이트(헤드)와 필터링된 사이트(테일)의 결과 관련성을 비교하기 위해.
• 인기 기반으로 필터링된 장기부분 결과가 검색 검색 성능에서 의미 있는 다양성과 유용성을 제공하는지 평가하기 위해.
• 사용자 평가 패턴과 댓글 유형을 분석하여 헤드와 테일 결과 간의 인식된 품질 차이를 밝혀내기 위해.

제안 방법

• 33명의 LIS 학생이 Million Short의 장기부분에서 다양한 깊이의 결과(0k, 10k, 1000k)에서 최대 30건의 문서를 평가하는 관련성 평가 연구를 수행하였다.
• 이진 관련성 평가(P@n, MAP@n)와 등급 관련성(NDCG@n)을 사용하여 세 가지 결과 깊이(0k(헤드), 10k, 1000k(테일))에서의 검색 성능을 평가하였다.
• 결과 깊이 간 성능 차이의 유의성을 평가하기 위해 스튜던트의 t-검정을 적용하였다.
• 평가자들이 기입한 자유형 댓글을 분석하여 신뢰성, 언어, 콘텐츠 유형 불일치 등의 반복적인 문제를 식별하였다.
• 결과 목록 간 순위 순서의 차이를 측정하기 위해 켄달의 τ와 교차 비율을 사용하여 콘텐츠 차이를 분석하였다.
• Million Short의 아키텍처(알렉사 데이터와 빙 API를 통한 상위 사이트 필터링)를 활용하여 장기부분 결과를 고립하고 추출하였다.

실험 결과

연구 질문

• RQ1 검색 엔진 결과 목록의 장기부분은 헤드와 비교해 관련성 있고 유용한 정보를 포함하고 있는가?
• RQ2 이진 관련성 평가를 사용할 경우, 헤드와 테일 결과 간에 통계적으로 유의미한 관련성 차이가 있는가?
• RQ3 등급 관련성은 헤드와 테일 간에 어떻게 다를지, 그 차이는 통계적으로 의미 있는가?
• RQ4 장기부분 결과와 헤드 결과를 구분하는 데 사용되는 사용자 피드백 또는 댓글 패턴은 어떤가?
• RQ5 장기부분 결과는 표준 검색 결과 목록의 다양화에 의미 있게 활용될 수 있는가?

주요 결과

• 이진 관련성 측정치(P@n, MAP@n)에서 헤드(0k)와 테일(1000k) 간에 통계적으로 유의미한 차이가 없었으며, p-값이 α=0.05를 초과하였다.
• NDCG@5와 NDCG@10에서 테일(1000k)에서 약간의 감소가 관찰되었고, 이는 유의미한 수준(p ≤ 0.1)으로 약간의 감소를 보여, 등급 관련성에서 약간의 하락이 있음을 시사한다.
• 켄달의 τ와 교차 비율 측정치는 결과 집합 간 순위 순서에 명백한 차이가 있음을 보여, 헤드와 테일 간의 콘텐츠 구성이 다름을 시사한다.
• 평가자들은 장기부분 결과(10k 및 1000k)에서만 신뢰성 및 결과의 구체성/광범위성 문제를 보고하였으며, 헤드(0k)에서는 이러한 문제를 보고하지 않았다.
• 댓글 분석 결과, '잘못된 콘텐츠 유형'과 '콘텐츠 누락'이 일반적인 문제로 나타났으며, 전체 시스템의 20%의 댓글에서 콘텐츠 유형 불일치가 언급되었다.
• 이 연구는 장기부분 결과가 유의미하게 덜 관련성이 있다고 보다 못하나, 장기부분 결과의 잠재력을 최대한 발휘하기 위해서는 더 나은 메타데이터와 평가 프레임워크가 필요하다고 제안한다.