[논문 리뷰] Correlation of Expert and Search Engine Rankings

Michael L. Nelson, Martin Klein외 1명|ArXiv.org|2008. 09. 17.

Web visibility and informetrics참고 문헌 23인용 수 4

한 줄 요약

이 연구는 실제 세계의 엔티티(예: 대학, 영화, 운동선수 등)에 대한 전문가 순위가 해당 엔티티의 웹 페이지에 대한 검색 엔진 순위와 상관관계가 있는지 조사한다. 9개의 실험에서 구글, 라이브 서치, 야후의 순위와 전문가 리스트를 켄달의 타우(τ)를 사용해 비교한 결과, 통계적으로 유의미한 상관관계는 총 11개에 불과했으며, 대부분 약하거나 중간 정도의 상관관계였다. 리스트 크가 커질수록 상관관계가 감소하는 경향을 관찰했고, 이는 높은 실제 세계의 품질이 항상 높은 웹 페이지 권위로 이어지지 않는다는 것을 시사한다.

ABSTRACT

In previous research it has been shown that link-based web page metrics can be used to predict experts' assessment of quality. We are interested in a related question: do expert rankings of real-world entities correlate with search engine rankings of corresponding web resources? For example, each year US News & World Report publishes a list of (among others) top 50 graduate business schools. Does their expert ranking correlate with the search engine ranking of the URLs of those business schools? To answer this question we conducted 9 experiments using 8 expert rankings on a range of academic, athletic, financial and popular culture topics. We compared the expert rankings with the rankings in Google, Live Search (formerly MSN) and Yahoo (with list lengths of 10, 25, and 50). In 57 search engine vs. expert comparisons, only 1 strong and 4 moderate correlations were statistically significant. In 42 inter-search engine comparisons, only 2 strong and 4 moderate correlations were statistically significant. The correlations appeared to decrease with the size of the lists: the 3 strong correlations were for lists of 10, the 8 moderate correlations were for lists of 25, and no correlations were found for lists of 50.

연구 동기 및 목표

• 실제 세계의 엔티티(예: 대학, 영화, 운동선수 등)에 대한 전문가 순위가 해당 엔티티의 웹 페이지에 대한 검색 엔진 순위와 상관관계가 있는지 확인하는 것.
• 검색 엔진 순위가 실제 자원의 전문가 평가 기준 품질을 신뢰할 수 있는 대체 지표로 기능할 수 있는지 평가하는 것.
• 리스트 길이와 검색 엔진 간 차이가 전문가 순위와 검색 엔진 순위 간 상관관계에 어떤 영향을 미치는지 조사하는 것.
• 하이퍼링크 기반 메트릭(예: 페이지랭크 등) 외에 웹 페이지 권위에 영향을 미칠 수 있는 요소들이 실제 세계의 품질과 어떤 관계가 있는지 밝혀내는 것.
• 디지털 라이브러리 및 웹 크롤링 시스템에서 검색 엔진 API의 신뢰성에 대한 기초 자료를 제공하는 것.

제안 방법

• 학술, 체육, 금융, 문화 분야의 주제를 포함한 8개의 전문가 리스트를 사용해 총 9개의 실험을 수행했다.
• 각 실제 세계의 엔티티를 일관된 비교를 위해 단일 캐논컬 URL로 매핑했다.
• 키워드 검색 없이 프로그램을 통해 구글, 라이브 서치, 야후의 URL 순위를 순서형으로 추출했다.
• 전문가 순위와 검색 엔진 순위 간 상관관계의 통계적 유의성과 강도(중간: 0.40 < τ ≤ 0.60; 강한: 0.60 < τ ≤ 0.80)를 측정하기 위해 켄달의 타우(τ)를 적용했다.
• 다른 검색 엔진 간 일관성을 평가하기 위해 상호 비교 분석을 수행했다.
• 리스트 길이가 10, 25, 50일 때 결과를 평가하여 리스트 크기가 상관관계에 어떤 영향을 미치는지 분석했다.

실험 결과

연구 질문

• RQ1 실제 세계의 엔티티에 대한 전문가 순위와 해당 엔티티의 웹 페이지에 대한 검색 엔진 순위 사이에 통계적으로 유의미한 상관관계가 존재하는가?
• RQ2 순위 리스트의 길이(10, 25, 50)가 전문가 순위와 검색 엔진 순위 간 상관관계의 강도에 어떤 영향을 미치는가?
• RQ3 다른 검색 엔진(Google, Live Search, Yahoo)이 동일한 실제 세계의 엔티티에 대해 일관된 순위를 제공하는가?
• RQ4 특정 종류의 실제 세계의 엔티티(예: 영화, 대학, 운동선수 등)에서는 전문가 순위와 검색 엔진 순위가 더 높은 상관관계를 보일 가능성이 있는가?
• RQ5 실제 세계의 품질이 널리 인정되는데도 강한 상관관계가 없을 경우, 그 원인은 무엇일 수 있는가?

주요 결과

• 전체 57개의 전문가-검색 엔진 비교 중, 통계적으로 유의미한 상관관계는 강한 상관관계 1건, 중간 상관관계 4건 뿐이었다.
• 42개의 상호 검색 엔진 비교 중, 통계적으로 유의미한 상관관계는 강한 상관관계 2건, 중간 상관관계 4건 뿐이었다.
• 상관관계는 리스트 길이가 커질수록 감소했다: 강한 상관관계는 10개 리스트에서만 3건 발생했고, 25개 리스트에서는 중간 상관관계 8건이 있었으며, 50개 리스트에서는 상관관계가 전혀 없었다.
• 구글은 'Money' 전문가 리스트와 중간 정도의 음의 상관관계를 보였는데, 이는 알고리즘적 또는 인덱싱 이상 현상이 있을 수 있음을 시사한다.
• 라이브, 구글, 야후는 상호 간 상관관계가 제한적이었으며, 이는 이들의 순위 알고리즘이 유사한 링크 구조에 의존하거나 효과적으로 차이를 구분하지 못할 수 있음을 시사한다.
• 본 연구는 실제 세계의 품질이 항상 높은 웹 페이지 권위로 이어지지 않음을 시사하며, 이는 검색 엔진 순위가 전문가 평가의 품질을 반영한다고 가정할 수 없다는 것을 의미한다.