[논문 리뷰] Characterization of Search Engine Caches

Frank McCown, Michael L. Nelson|ArXiv.org|2007. 03. 15.

Web Data Mining and Analysis참고 문헌 12인용 수 17

한 줄 요약

이 논문은 체계적 쿼리와 캐시 리sources 분석을 통해 Ask, Google, MSN, Yahoo 검색 엔진의 캐시 콘텐츠를 특성화한다. 검색 엔진 캐시는 보존을 목적으로 설계된 것은 아니지만, 특히 인터넷 아카이브와 결합할 경우 넓고 겹치는 커버리지가 있으며, 디지털 보존 전략에 있어 유용하다는 점을 밝혀낸다. 이 중 46%의 캐시된 URL이 인터넷 아카이브(IA)에 동일하게 보관되어 있으며, 캐시 제어 헤더에 대한 존중도 미미하다.

ABSTRACT

Search engines provide cached copies of indexed content so users will have something to "click on" if the remote resource is temporarily or permanently unavailable. Depending on their proprietary caching strategies, search engines will purge their indexes and caches of resources that exceed a threshold of unavailability. Although search engine caches are provided only as an aid to the interactive user, we are interested in building reliable preservation services from the aggregate of these limited caching services. But first, we must understand the contents of search engine caches. In this paper, we have examined the cached contents of Ask, Google, MSN and Yahoo to profile such things as overlap between index and cache, size, MIME type and "staleness" of the cached resources. We also examined the overlap of the various caches with the holdings of the Internet Archive.

연구 동기 및 목표

• 디지털 보존에 활용하기 위해 검색 엔진 캐시의 콘텐츠, 구조, 신뢰성 이해하기.
• 캐시된 웹 자원이 시간이 지남에 따라 얼마나 보존되고 접근 가능한지 평가하기.
• 검색 엔진 캐시와 인터넷 아카이브의 자료 보유량 간 겹침 평가하기.
• HTTP 헤더, 예를 들어 'Cache-Control: Private'와 같은 캐시 정책 처리 방식 조사하기.
• 검색 엔진 캐시를 보다 광범위한 디지털 보존 인fra구조의 일부로 활용할 수 있는지 가능성 평가하기.

제안 방법

• 2006년 2월에 네 개의 검색 엔진(Google, MSN, Yahoo, Ask) 각각에 5,200개의 사전 기반 쿼리를 발행.
• 각 쿼리의 상위 100개 결과 중 하나를 선정하고, 라이브 웹 페이지와 캐시된 버전을 모두 시도하여 확보.
• 각 URL에 대해 HTTP 헤더, 웹 콘텐츠, 캐시된 페이지, 인터넷 아카이브(IA) 응답 수집.
• HTML 태그 제거 후 10단어 shingles를 사용하여 라이브 페이지와 캐시된 페이지 간 유사도 측정.
• 캐시된 페이지의 타임스탬프와 현재 날짜의 시간 차이를 기반으로 오래됨 정도 측정.
• MIME 유형 분포, 파일 크기, 캐시 오류 비율, '캐시 전용 가용성'(라이브 페이지가 다운되었지만 캐시된 버전은 접근 가능한 경우) 분석.

실험 결과

연구 질문

• RQ1 검색 엔진 캐시와 인터넷 아카이브의 자료 보유량 간 겹침은 어느 정도인가?
• RQ2 콘텐츠와 구조 측면에서 캐시된 웹 페이지는 라이브 페이지와 얼마나 유사한가?
• RQ3 검색 엔진은 'Cache-Control: Private'와 같은 HTTP 캐시 제어 헤더를 어느 정도 존중하는가?
• RQ4 네 개의 검색 엔진 간 캐시 파일 크기, MIME 유형, 오래됨 정도의 분포는 어떠한가?
• RQ5 원본 웹 페이지가 이용 불가능할 경우, 검색 엔진 캐시가 자원에 접근하는 데 얼마나 효과적인가?

주요 결과

• 샘플링된 네 검색 엔진의 URL 중 46%만 인터넷 아카이브(IA)에 보관되어 있어, IA 자료 보유량에 상당한 콘텐츠 격차가 있음을 시사한다.
• MSN는 IA와 가장 높은 겹침 비율(52%)을 보였고, Yahoo는 가장 낮은 비율(41%)을 기록했다.
• Google 캐시의 경우 20%가 오래됨 상태였으며, 이는 20%의 캐시된 페이지가 최소 20일 이상 오래된 것을 의미하며, 중앙값은 17일이었다.
• 샘플링된 HTML 자원의 2%에서 'Cache-Control: Private' 헤더가 존재했음에도 불구하고, 검색 엔진은 이를 일관되게 존중하지 않았으며, 이는 보존 측면에서 유리한 결과를 가져왔다.
• 평균적으로 캐시된 페이지와 라이브 페이지는 72%의 shingle을 공유했으며, 오래된 캐시일지라도 콘텐츠 유사도가 높음을 시사한다.
• Ask는 보존 활용도가 가장 낮았으며, 색인된 URL 중 9%만 캐시되어 있었고, 가용하지 않은 URL 중 3%만 캐시를 통해 접근 가능했으며, 이는 Google, MSN, Yahoo의 80% 이상과 대비된다.