[논문 리뷰] Reconstructing Websites for the Lazy Webmaster

Frank McCown, Joan A. Smith외 2명|arXiv (Cornell University)|2005. 12. 16.

Web Data Mining and Analysis참고 문헌 31인용 수 4

한 줄 요약

이 논문은 인터넷 아카이브와 검색 엔진 캐시(구글, 마이크로소프트, 야후)와 같은 공공 웹 레포지터리에서 웹사이트 재구성 작업을 자동화하는 도구인 Warrick를 제안한다. 기존 크롤링 결과와 캐시된 콘텐츠를 활용함으로써 Warrick는 실제 24개의 웹사이트를 성공적으로 재구성했으며, 평균적으로 HTML 파일의 89%, 이미지의 53%, PDF 파일의 85%를 복구하였다. 특히 구글이 캐시된 콘텐츠 제공 측면에서 가장 일관성 있는 소스로 나타났다.

ABSTRACT

Backup or preservation of websites is often not considered until after a catastrophic event has occurred. In the face of complete website loss, "lazy" webmasters or concerned third parties may be able to recover some of their website from the Internet Archive. Other pages may also be salvaged from commercial search engine caches. We introduce the concept of "lazy preservation"- digital preservation performed as a result of the normal operations of the Web infrastructure (search engines and caches). We present Warrick, a tool to automate the process of website reconstruction from the Internet Archive, Google, MSN and Yahoo. Using Warrick, we have reconstructed 24 websites of varying sizes and composition to demonstrate the feasibility and limitations of website reconstruction from the public Web infrastructure. To measure Warrick's window of opportunity, we have profiled the time required for new Web resources to enter and leave search engine caches.

연구 동기 및 목표

• 실수나 인프라 장애로 인해 상실된 웹사이트를 복구하기 위한 체계적인 복구 메커니즘이 부족한 문제를 해결하기 위해.
• 특히 검색 엔진 캐시와 인터넷 아카이브를 포함한 공공 웹 레포지터리가 손실된 웹사이트 재구성에 실질적인 자원이 될 수 있는지 조사하기 위해.
• 기존 웹 인프라를 활용하여 웹사이트 재구성 과정을 자동화하는 도구를 개발하고 평가하기 위해.
• 주요 검색 엔진과 인터넷 아카이브에서 캐시된 웹 자원의 시간적 가용성 측정하기 위해.
• 사전 백업 없이 외부에서 접근 가능한 공개 소스에서 웹사이트를 재구성하는 것의 가능성과 한계를 평가하기 위해.

제안 방법

• 인터넷 아카이브(IA), 구글, 마이크로소프트, 야후의 네 가지 공공 웹 레포지터리에서 순차적으로 크롤링하는 명령줄 기반 도구인 Warrick를 설계하고 구현한다.
• 다양한 크기와 콘텐츠 유형을 가진 실제 24개의 웹사이트를 대상으로 Warrick를 활용해 재구성 성공률을 평가한다.
• HTML, PDF, 이미지 파일을 포함한 합성 웹 컬렉션을 .com 및 .edu 도메인에 생성하여 검색 엔진 간 캐싱 지연 시간과 지속 시간을 측정한다.
• 생성 후 페이지를 체계적으로 제거하고, 검색 엔진 캐시에 얼마나 오래 유지되는지 모니터링하여 자원의 가용 창을 파악한다.
• 시간스탬프가 포함된 자원을 우선순위로 정하고, 접근 불가능하거나 수정된 버전(예: 썸네일 또는 HTML 변환본)을 피하기 위해 히ュ리스틱을 적용한다.
• 모든 레포지터리의 기여를 통합하여 각 웹사이트 및 파일 유형별 총합 재구성 성공률을 계산한다.

실험 결과

연구 질문

• RQ1 특히 검색 엔진 캐시와 인터넷 아카이브를 포함한 공공 웹 레포지터리가 손실된 웹사이트 재구성에 얼마나 효과적인가?
• RQ2 생성된 후 웹 자원이 구글, 마이크로소프트, 야후 캐시에 평균적으로 얼마나 오래 유지되는가?
• RQ3 어느 웹 레포지터리가 웹사이트 재구성에 가장 기여하는가? 그리고 다양한 파일 유형 간 복구율은 어떻게 비교되는가?
• RQ4 웹사이트 크기, PageRank, 또는 콘텐츠 유형(예: HTML, 이미지, PDF)이 재구성 성공률에 어떤 영향을 미치는가?
• RQ5 외부 뷰만을 이용해 웹사이트를 재구성할 경우의 한계는 무엇이며, 어떤 구성 요소(예: 서버 측 로직)는 복구할 수 없는가?

주요 결과

• 재구성된 24개 웹사이트 평균적으로 HTML 파일의 89%가 성공적으로 복구되었으며, 이는 가장 복구율이 높은 자원 유형이었다.
• 이미지는 53%의 복구율을 기록했으며, 이는 HTML에 비해 상대적으로 낮은 수준이었는데, 이는 캐싱의 일관성 부족과 마이크로소프트가 이미지를 캐시하지 못하기 때문이었다.
• PDF 파일은 85%의 복구율을 기록했고, 마이크로소프트 오피스 형식은 71%의 성공률로 복구되었다.
• 구글이 평균적으로 가장 많은 기여를 하였으며(44%), 이어 마이크로소프트(30%), 인터넷 아카이브(19%), 야후(7%)의 순서였다.
• HTML 자원의 평균 복구 시간(TUR)은 8일에서 61일 사이였으며, 많은 자원이 최대 90일 동안 가용 상태를 유지했다.
• 웹사이트 크기나 PageRank와의 상관관계는 관찰되지 않았으며, 이는 작은 웹사이트이거나 덜 인기 있는 웹사이트도 효과적으로 복구될 수 있음을 시사한다.